循环神经网络（Recurrent Neural Network）

RNN是最常用的LSTM（LSTM由RNN转化而来）一般般用于记住之前的状态，以供后续神经网络的判断，它由input gate 、forget gate 、output gate 、和cell memory组成，每个LSTM本质上就是一个神经元，特殊之处在于有4个输入：$z$和三个门控制信号$z^i,z^f,z^o$ 组成 ，每个时间点的输入都是由当前输入值+上一个时间点的输出值+上一个时间点cell值来组成
槽填充
在智能客服、智能订票系统中，往往需要槽填充技术，他会分析用户说出的语句，将时间、地址等有效的关键词填到对应的槽上，并过滤掉无效的词语。
词汇转化为向量，可以使用1-of-N(one-hot)编码，word hashing或者是word vector等方式，此外我们可以尝试使用Feedforward Neural Network来分析词汇，判断出它是属于时间或是目的地的概率.

如上图所示：该神经网络会先处理“arrive”和“leave”这两个词汇，然后再处理“Taipei”，这时对NN来说，输入是相同的，它没有办法区分出“Taipei”是出发地还是目的地

这个时候我们就希望神经网络是有记忆的，如果NN在看到“Taipei”的时候，还能记住之前已经看过的“arrive”或是“leave”，就可以根据上下文得到正确的答案
这种有记忆力的神经网络，就叫做Recurrent Neural Network(RNN)

在RNN中，隐藏层每次产生的输出$a_1,a_2$,都会被存到记忆中，下次有输入的时候，这些神经元就不仅会考虑新的输入$x_1,x_2$,还会考虑存放在记忆中的$a_1,a_2$。

注意到，每次NN的输出都要考虑memory中存储的临时值，而不同的输入产生的临时值也尽不相同，因此改变输入序列的顺序会导致最终输出结果的改变(Changing the sequence order will change the output)

RNN处理糟填充
“arrive”的向量作为$x^1$输入RNN中，通过隐藏层生成$a^1$，再根据$a^1$生成$y^1$，表示“arrive”属于每个槽的概率，其中$a^1$会被存储到内存中。

“Taipei”的向量作为$x^2$输入RNN中，此时隐藏层同时考虑$x^2$和存放在存储器中的$a^1$，生成$a^2$，再根据$a^2$生成$y^2$，表示“Taipei”属于每个槽的概率，此时再把$a^2$会被存储到内存中。
以此类推

上图为同一个RNN在三个不同时间点被分别使用了三次，并非是三个不同的NN

这个时候，即使输入同样是“Taipei”，我们依旧可以根据前文的“leave”或“arrive”来得到不一样的输出

Elman Network & Jordan Network
RNN有不同的变形：
Elman Network：将hidden layer的输出保存在memory里
Jordan Network：将整个neural network的输出保存在memory里
由于hidden layer没有明确的训练目标，而整个NN具有明确的目标，因此Jordan Network的表现会更好一些

双向回归神经网络（Bidirectional RNN）
RNN可以是双向的，可以同时训练一对正向和反向的RNN，把它们对应的隐藏层$x^t$拿出来，都结给一个输出层，得到最后的$y^t$
使用双向回归神经网络的好处是，NN在产生输出的时候，能够看到的范围比较广，RNN在产生$y^{t+1}$的时候，它不只看了从句首$x^1$开始到 x