时序数据处理模型：RNN与LSTM总结

1、RNN的原理

在使用深度学习处理时序数据时，RNN是经常用到的模型之一。RNN之所以在时序数据上有着优异的表现是因为RNN在 $t$ 时间片时会将$t-1$时间片的隐节点作为当前时间片的输入。这样有效的原因是之前时间片的信息也用于计算当前时间片的内容，而传统DNN模型的隐节点的输出只取决于当前时间片的输入特征。RNN结构如下图：

图1：RNN结构图

公式如下($W,U,b$均为参数)：

$$\begin{array}{rl}& h_t=\sigma (W_t\cdot x_t+U_t\cdot h_{t-1}+b)\end{array}$$

其中隐节点$h_{t-1}$主要有两个作用：

1. 计算下个时间片的隐节点状态$h_t$
2. 计算在该时刻的预测值$\hat{y}=\sigma (w\ast h_t+b)$

RNN的优缺点：

在深度学习领域中（尤其是RNN），“长期依赖“问题是普遍存在的。长期依赖产生的原因是当神经网络的节点经过许多阶段的计算后，之前比较长的时间片的特征已经被覆盖,导致产生梯度消失/爆炸。

产生梯度消失和梯度爆炸是由于RNN的权值矩阵循环相乘导致的，相同函数的多次组合会导致极端的非线性行为。梯度消失和梯度爆炸主要存在RNN中，因为RNN中每个时间片使用相同的权值矩阵。对于一个DNN，虽然也涉及多个矩阵的相乘，但是通过精心设计权值的比例可以避免梯度消失和梯度爆炸的问题 。

处理梯度爆炸可以采用梯度截断的方法。所谓梯度截断是指将梯度值超过阈值$\theta$的梯度手动降到$\theta$ 。

梯度消失不能简单的通过类似梯度截断的阈值式方法来解决，因为长期依赖的现象也会产生很小的梯度。例如，对于时序数据$[t1,t2,t3,...,t8,t9,t10]$，我们希望 $t9$时刻能够读到 $t1$时刻的特征，在这期间内我们自然不希望隐层节点状态发生很大的变化，所以 $[t2,t8]$时刻的梯度要尽可能的小才能保证梯度变化小。很明显，如果我们刻意提高小梯度的值将会使模型失去捕捉长期依赖的能力。

2、LSTM

LSTM全称是Long Short Term Memory，顾名思义，它是具有记忆长短期信息的神经网络。LSTM提出的动机是为了解决上面我们提到的长期依赖问题。

而LSTM之所以能够解决RNN的长期依赖问题，是因为LSTM引入了门（gate）机制用于控制特征的流通和损失。对于上面的例子，LSTM可以做到在$t9$时刻将$t1$时刻的特征传过来，这样就可以非常有效的判断$t9$时刻使用单数还是复数了。LSTM是由一系列LSTM单元（LSTM Unit）组成，其链式结构如下图。

图3:LSTM单元 其中，每个黄色方框表示一个神经网络层，由权值，偏置以及激活函数组成；每个粉色圆圈表示元素级别操作；箭头表示向量流向；相交的箭头表示向量的拼接；分叉的箭头表示向量的复制。总结如下图： 图4：LSTM的符号含义

LSTM的核心部分是在图3中最上边类似于传送带的部分（图5），这一部分一般叫做单元状态（cell state）它自始至终存在于LSTM的整个链式系统中。

图5：LSTM的单元状态

其中
$$C_t=f_t\ast C_{t-1}+i_t\ast \widetilde{C_t}$$

其中$f_t$叫做遗忘门，表示$C_{t-1}$的哪些特征被用于计算 $C_t$。 $f_t$ 是一个向量，向量的每个元素均位于$[0,1]$范围内。通常我们使用 $sigmoid$作为激活函数，$sigmoid$的输出是一个介于$[0,1]$区间内的值，但是当你观察一个训练好的LSTM时，你会发现门的值绝大多数都非常接近0或者1，其余的值少之又少。其中 $\times$ 是LSTM最重要的门机制，表示 $f_t$和$C_{t-1}$ 之间的单位乘关系。

图6：LSTM的遗忘门

输入门（如下图7所示），$\widetilde{C_t}$表示单元状态更新值，由输入数据$x_t$和隐节点$h_{t-1}$经由一个神经网络层得到，单元状态更新值的激活函数通常使用$tanh$。$i_t$叫做输入门，同$f_t$一样也是一个元素介于$[0,1]$区间内的向量，同样由$x_t$和$h_{t-1}$经由$sigmoid$激活函数计算而成。

图7：LSTM的输入门和单元状态更新值计算方式

$i_t$用于控制$\widetilde{C_t}$的哪些特征用于更新$C_t$，使用方式和$f_t$相同（图8）。

图8：LSTM的输入门作用方式

最后，为了计算预测值$\hat{y}$和生成下个时间片完整的输入，我们需要计算隐节点的输出$h_t$（图9）。

图9：LSTM的输出门

$h_t$由输出门$o_t$和单元状态$C_t$得到，其中$o_t$的计算方式和 $f_t$以及$i_t$相同。有论文指出，通过将$b_o$的均值初始化为$1$，可以使LSTM达到同GRU近似的效果。在LSTM中，门的重要性排序是遗忘门 > 输入门 > 输出门。

图10：LSTM计算全流程