深度学习TF—9.循环神经网络RNN及其变体GRU、LSTM

引言

    虽然全连接神经网络理论上只要训练数据足够，给定特定的x，就能得到希望的y，但是全连接神经网络只能处理独立的输入，前一个输入和后一个输入是完全没有关系的。针对某些任务需要能够更好的处理序列的信息，即前面的输入和后面的输入是有关系的情况，此时，就需要用到循环神经网络RNN，该神经网络能够很好的处理序列信息。

标准的全连接神经网络（fully connected neural network）处理序列数据会有两个问题：
1）全连接神经网络输入层和输出层长度固定，而不同序列的输入、输出可能有不同的长度，选择最大长度并对短序列进行填充（pad）不是一种很好的方式；
2）全连接神经网络同一层的节点之间是无连接的，当需要用到序列之前时刻的信息时，全连接神经网络无法做到，一个序列的不同位置之间无法共享特征。

一、RNN神经元结构（1）

参考于一文搞懂RNN（循环神经网络）基础篇
    一个简单的循环神经网络，它由输入层、隐藏层（单个）、输出层构成。

x是输入层的值
U是输入层到隐藏层的权重矩阵
s是隐藏层的值
权重矩阵 W就是上一个时刻隐藏层的值作为这一时刻的输入的权重。循环神经网络的隐藏层的值s不仅仅取决于当前时刻的输入x，还取决于前一时刻隐藏层的值s。
V是隐藏层到输出层的权重矩阵

    下图展示了上一时刻的隐藏层是如何影响当前时刻的隐藏层的。

    循环神经网络时间线展开图为：

这个网络在t时刻接收到输入x_t 之后，隐藏层的值是s_t ，输出值是 o_t 。s_t的值不仅仅取决于 x_t，还取决于 s_t-1。
    循环神经网络计算方法用公式表示为：

二、RNN神经元结构（2）

    对于 RNN，一个非常重要的概念就是时刻。RNN 会对每一个时刻的输入结合当前模型的状态给出一个输出。t 时刻 RNN 的主体结构 A 的输入除了来自输入层 X_t，还有一个循环的边来提供从 t−1 时刻传递来的隐藏状态。
    将RNN 的主体结构 A 按时间复制可得：

如何设计循环体 A 的网络结构是 RNN 解决实际问题的关键。和卷积神经网络（CNN）过滤器中参数共享类似，在 RNN 中，循环体 A 中的参数在不同时刻也是共享的。
循环体A的结构为：

    下图展示了一个最简单的使用单个全连接层作为循环体 A 的 RNN。图中黄色的 tanh 小方框表示一个使用 tanh 作为激活函数的全连接层。