RNN神经网络-LSTM模型结构

预备知识：

1. RNN神经网络模型原理

2. RNN神经网络模型的不同结构

3. RNN神经网络-LSTM模型结构

1. 前言

之前我们对RNN模型做了总结。由于RNN也有梯度消失的问题，因此很难处理长序列的数据。大牛们对RNN做了改进，得到了RNN的特例LSTM（Long Short-Term Memory），它可以避免常规RNN的梯度消失，因此在工业界得到了广泛的应用。下面我们就对LSTM模型做一个总结。

2. LSTM模型结构

我们先看下LSTM的整体结构。

由于RNN梯度消失的问题，大牛们对于序列索引位置t的隐藏结构做了改进，可以说通过一些技巧让隐藏结构复杂了起来，来避免梯度消失的问题，这样的特殊RNN就是我们的LSTM。由于LSTM有很多的变种，这里我们以最常见的LSTM为例讲述。

2.1 细胞状态

在每个序列索引位置t时刻向前传播的除了和RNN一样的隐藏状态$ht$，还多了另一个隐藏状态，如图中上面的长横线。这个隐藏状态我们一般称为细胞状态(Cell State)，记为$Ct$。如下图所示：

2.2 LSTM之遗忘门

遗忘门（forget gate）顾名思义，是控制是否遗忘的，在LSTM中即以一定的概率控制是否遗忘上一层的隐藏细胞状态，并且以某种方式避免梯度随时间反向传播时引发的梯度消失和梯度爆炸的问题。遗忘门子结构如下图所示：

图中输入的有上一序列的隐藏状态$h_{t-1}$和本序列数据$x_t$，通过一个激活函数，一般是$sigmoid$，得到遗忘门的输出$f_t$。由于$sigmoid$的输出$f_t$在[0,1]之间，因此这里的输出ft代表了遗忘上一层隐藏细胞状态的概率。用数学表达式即为：

其中$W_f$,$U_f$,$b_f$为线性关系的系数和偏倚，和RNN中的类似。σ为sigmoid激活函数。

2.3 LSTM之输入门

输入门（input gate）负责处理当前序列位置的输入，用于控制当前输入数据流入记忆单元的多少，即有多少输入信息可以保存到细胞状态中。它的子结构如下图：

从图中可以看到输入门由两部分组成，第一部分使用了$sigmoid$激活函数，输出为it第二部分使用了$tanh$激活函数，输出为$a_t$,两者的结果后面会相乘再去更新细胞状态。用数学表达式即为：

其中$W_i$,$U_i$,$b_i$,$W_a$,$U_a$,$b_a$为线性关系的系数和偏倚，和RNN中的类似。σ为sigmoid激活函数。

2.4 LSTM之细胞状态更新

在研究LSTM输出门之前，我们要先看看LSTM之细胞状态。前面的遗忘门和输入门的结果都会作用于细胞状态$C_t$。我们来看看从细胞状态$C_{t-1}$如何得到$C_t$。如下图所示：

细胞状态$C_t$由两部分组成，第一部分是$C_{t-1}$和遗忘门输出ft的乘积，第二部分是输入门的$i_t$和$a_t$的乘积，即：

2.5 LSTM之输出门

有了新的隐藏细胞状态$C_t$，我们就可以来看输出门了，子结构如下：

从图中可以看出，隐藏状态ht的更新由两部分组成，第一部分是$o_t$,它由上一序列的隐藏状态$h_{t-1}$和本序列数据$x_t$，以及激活函数$sigmoid$得到，第二部分由隐藏状态$C_t$和$tanh$激活函数组成, 即：