LSTM模型(转载)

（一）LSTM模型理解

1.长短期记忆模型（long-short term memory）是一种特殊的RNN模型，是为了解决RNN模型梯度弥散的问题而提出的；在传统的RNN中，训练算法使用的是BPTT，当时间比较长时，需要回传的残差会指数下降，导致网络权重更新缓慢，无法体现出RNN的长期记忆的效果，因此需要一个存储单元来存储记忆，因此LSTM模型被提出；

2.下面两个图可以看出RNN与LSTM的区别：

（1）RNN

（2）LSTM

PS：

（1）部分图形含义如下：

（2）RNN与LSTM最大的区别在于LSTM中最顶层多了一条名为“cell state”的信息传送带，其实也就是信息记忆的地方；

3.LSTM的核心思想：

（1）理解LSTM的核心是“cell state”，暂且名为细胞状态，也就是上述图中最顶的传送线，如下：

（2）cell state也可以理解为传送带，个人理解其实就是整个模型中的记忆空间，随着时间而变化的，当然，传送带本身是无法控制哪些信息是否被记忆，起控制作用的是下面将讲述的控制门（gate）；

（3）控制门的结构如下：主要由一个sigmoid函数跟点乘操作组成；sigmoid函数的值为0-1之间，点乘操作决定多少信息可以传送过去，当为0时，不传送，当为1时，全部传送；

（4）LSTM中有3个控制门：输入门，输出门，记忆门；

4.LSTM工作原理：

（1）forget gate：选择忘记过去某些信息：

（2）input gate：记忆现在的某些信息：

（3）将过去与现在的记忆进行合并：

（4）output gate：输出

PS：以上是标准的LSTM的结构，实际应用中常常根据需要进行稍微改善；

5.LSTM的改善

（1）peephole connections：为每个门的输入增加一个cell state的信号

（2）coupled forget and input gates：合并忘记门与输入门

（二）LSTM模型推导

1.LSTM模型的思想是将RNN中的每个隐藏单元换成了具有记忆功能的cell（如上图所示），其余的跟RNN一样；

2.每个cell的组成如下：

（1）输入节点（gc）：与RNN中的一样，接受上一个时刻点的隐藏节点的输出以及当前的输入作为输入，然后通过一个tanh的激活函数；

（2）输入门（ic）：起控制输入信息的作用，门的输入为上一个时刻点的隐藏节点的输出以及当前的输入，激活函数为sigmoid（原因为sigmoid的输出为0-1之间，将输入门的输出与输入节点的输出相乘可以起控制信息量的作用）；

（3）内部状态节点（sc）：输入为被输入门过滤后的当前输入以及前一时间点的内部状态节点输出，如图中公式；

（4）忘记门（fc）：起控制内部状态信息的作用，门的输入为上一个时刻点的隐藏节点的输出以及当前的输入，激活函数为sigmoid（原因为sigmoid的输出为0-1之间，将内部状态节点的输出与忘记门的输出相乘可以起控制信息量的作用）；

（5）输出门（oc）：起控制输出信息的作用，门的输入为上一个时刻点的隐藏节点的输出以及当前的输入，激活函数为sigmoid（原因为sigmoid的输出为0-1之间，将输出门的输出与内部状态节点的输出相乘可以起控制信息量的作用）；

3.LSTM层的计算可以表示如下（若干个cell组成一个LSTM层）：

PS：公式1 中的Wih应改为Wgh；圆圈表示点乘；

4.具有2个cell的LSTM模型如下：

参考文献：

A Critical Review of Recurrent Neural Networks for Sequence Learning

Understanding LSTM Networks

RNN以及LSTM的介绍和公式梳理

理解 LSTM 网络