理解LSTM网络

本文首发在我的微信公众号里，地址：https://mp.weixin.qq.com/s/0Q0aK4xmyKkZ0fMUIhc3Sg
本文同步更新在我的知乎专栏里，地址：https://zhuanlan.zhihu.com/p/42863963

目录：

1. LSTM网络
2. LSTM前向传播算法
3. LSTM反向传播算法
4. 思考几个问题
5. LSTM的变体
6. Reference

1. LSTM网络

LSTM是一种特殊的RNN，可以解决长期依赖的问题。它是由Hochreiter和Schnidhuber提出的，后来被很多人改进和推广，并在各种各样的问题上工作得非常好，现在被广泛的应用。

明确来说，设计LSTM主要就是为了解决长期依赖的问题，它的本质就是能够记住很长时期内的信息。

所有循环神经网络结构都是由完全相同结构的（神经网络）模块进行复制而成的。在标准RNN中，这个重复的模块只有一种非常简单的结构，例如tanh层。

图1： 标准RNN

LSTM同样也是类似的结构。但是它不再只是一个单一的tanh层，而是用了四个相互作用的层。

图2：含有四个相互作用层的LSTM

现在，我们来介绍一下图中使用的各种元素的图标。

图3：符号说明

在图3中，黄色的矩形框表示的是神经网络层；粉色的圈代表逐点操作，比如向量相加；每一条黑线表示从一个结点传输一整个向量到另一个结点；合在一起的线表示向量连接；分开的线表示复制内容，然后分发到不同的位置。

2. LSTM前向传播算法

（1）遗忘门：当输入新的信息时，模型若需遗忘旧的信息，此时通过遗忘门来完成。遗忘门是LSTM单元的关键组成部分，可以控制哪些信息要保留、哪些信息要遗忘，并且以某种方式避免梯度随时间反向传播时引发的梯度消失和梯度爆炸的问题。 遗忘门决定LSTM从上一时刻的细胞状态$C_{t-1}$中丢弃什么信息。该门读取$h_{t-1}$ 和$x_t$，然后通过sigmoid将其映射到0到1之间的数值，最终该数值再与细胞状态$C_{t-1}$相乘，来决定$C_{t-1}$该丢弃什么信息。当该数值为1时表示完全地保留$C_{t-1}$的信息，当该数值为0时表示完全地丢弃$C_{t-1}$的信息。如图4所示。

图4：LSTM遗忘门状态图

（2）输入门：确定哪些新的信息被保留在细胞状态中。 输入门用于控制网络当前输入数据$x_t$流入记忆单元的多少，即有多少输入信息可以保存到$C_t$中。输入门包括两部分，第一部分：由sigmoid组成的“输入门”产生的介于0到1之间的控制信号$i_t$，用来控制 ${\tilde{C}}_t$ 输入的程度；第二部分：通过一个tanh层产生当前时刻的候选细胞状态 ${\tilde{C}}_t$，这个值将由$i_t$决定添加到细胞状态中的程度。如图5所示。

图5：LSTM输入门状态图

（3）更新细胞状态$C_t$：将旧的细胞状态$C_{t-1}$更新为当前细胞状态$C_t$。 有了遗忘门产生的控制信号$f_t$ ，tanh层产生的候选细胞状态${\tilde{C}}_t$，输入门产生的控制信号$i_t$，就可以将$C_{t-1}$更新为$C_t$。首先 $f_t\ast C_{t-1}$确定上一个细胞状态要保留的信息；然后$i_t\ast {\tilde{C}}_t$得到候选细胞状态需要保留的信息；最后将这两部分相加，得到最终的当前时刻的细胞状态$C_t$。如图6所示。

图6：LSTM细胞更新状态

（4）输出门：输出值基于细胞状态，但是会有一个过滤的过程。 这里也包括两部分操作：第一部分，由sigmoid组成的“输出门”产生的介于0到1之间的控制信号$o_t$；第二部分，将最终产生的输出信息$tanh(C_t)$与控制信号$o_t$相乘，得到最终的输出值$h_t$。输出门控制记忆单元$C_t$对当前输出值$h_t$的影响，即记忆单元中的哪一部分会在时间步$t$输出。如图7所示。

图7：LSTM输出状态图

（5）传递信息到下一时刻。 除了将包含长期信息的细胞状态$C_t$