LSTM(长短时间记忆模型）的详细推导

---

---

概述

在循环神经网络RNN详细推导中，已经说明了RNN并不能很好的处理较长的序列。一个主要的原因是，RNN在训练中很容易发生梯度消失，这导致训练时梯度不能在较长序列中一直传递下去，从而使RNN无法捕捉到长距离的影响。所以，有学者就提出了LSTM来解决梯度消失的问题。

一、从RNN到LSTM

原始RNN的隐藏层只有一个状态，即$h$，它对于短期的输入非常敏感。所以，就假设再增加一个状态$c$，让它来保存长期的状态，如下图所示：

新增加的状态c，称为单元状态(cell state)。把上图按照时间维度展开：

上图仅仅是一个示意图，可以看出，在$t$时刻，LSTM的输入有三个：当前时刻网络的输入值$x_t$、上一时刻LSTM的输出值、以及上一时刻的单元状态；LSTM的输出有两个：当前时刻LSTM输出值、和当前时刻的单元状态。需要注意的是，他们都是向量。

LSTM的关键，就是怎样控制长期状态$c$。在这里，LSTM的思路是使用三个控制开关。第一个开关，负责控制继续保存长期状态c；第二个开关，负责控制把即时状态输入到长期状态c；第三个开关，负责控制是否把长期状态c作为当前的LSTM的输出。三个开关的作用如下图所示：

二、LSTM模型结构剖析

LSTM的结构如下：

下边，就来看一下具体的每个门吧：

2.1 LSTM之遗忘门

遗忘门（forget gate），在LSTM中是以一定的概率控制是否遗忘上一层的隐藏细胞状态。遗忘门子结构如下图所示：
　
　图中输入的有上时刻的隐藏状态$h^{(t-1)}$和本序列数据$x^{(t)}$，通过一个激活函数，一般是sigmoid，得到遗忘门的输出$f^{(t)}$。由于sigmoid的输出$f^{(t)}$在[0,1]之间，因此这里的输出$f^{(t)}$代表了遗忘上一层隐藏细胞状态的概率。用数学表达式即为：
　$$f(t)=\sigma (W_f{h}^{(t-1)}+U_f{x}^{(t)}+b_f)$$
　其中$W_f,U_f,b_f$为线性关系的系数和偏倚，和RNN中的类似。$\sigma$为sigmoid激活函数。

2.2 LSTM之输入门

输入门（input gate）负责处理当前序列位置的输入，它的子结构如下图：

从图中可以看到输入门由两部分组成，第一部分使用了sigmoid激活函数，输出为$i(t)$,第二部分使用了$tanh$激活函数，输出为$c^{\prime }(t)$, 两者的结果后面会相乘再去更新细胞状态。用数学表达式即为：

$$i^{(t)}=\sigma (W_i{h}^{(t-1)}+U_i{x}^{(t)}+b_i)$$

$$c^{\prime (t)}=tanh(W_c{h}^{(t-1)}+U_c{x}^{(t)}+b_c)$$

其中$W_i,U_i,b_i,W_c,U_c,b_c$,为线性关系的系数和偏置，和RNN中的类似。$\sigma$为sigmoid激活函数。

2.3 LSTM之细胞状态更新

在研究LSTM输出门之前，我们要先看看LSTM之细胞状态。前面的遗忘门和输入门的结果都会作用于细胞状态$C^{(t)}$。我们来看看从细胞状态$C^{(t-1)}$如何得到$C^{(t)}$。如下图所示：

细胞状态$C^{(t)}$由两部分组成，第一部分是$C^{(t-1)}$和遗忘门输出$f^{(t)}$的乘积，第二部分是输入门的$i^{(t)}$和$a^{(t)}$的乘积，即：

$$C^{(t)}=C^{(t-1)}\odot f^{(t)}+i^{(t)}\odot a^{(t)}$$

其中，⊙为Hadamard积，即：向量元素对应相乘。

2.4 LSTM之输出门

有了新的隐藏细胞状态$C^{(t)}$，我们就可以来看输出门了，子结构如下：

从图中可以看出，隐藏状态$h^{(t)}$的更新由两部分组成，第一部分是$o^{(t)}$, 它由上一序列的隐藏状态$h^{(t-1)}$和本序列数据$x^{(t)}$，以及激活函数sigmoid得到，第二部分由隐藏状态$C^{(t)}$和$tanh$激活函数组成, 即：

$$o^{(t)}=\sigma (W_o{h}^{(t-1)}+U_o{x}^{(t)}+b_o)$$

$$h^{(t)}=o^{(t)}\odot tanh(C^{(t)})$$

到这里，已经弄个清楚了LSTM的输入们、遗忘门、细胞更新和输出门了。接下来，就来推导一下LSTM的前向传播。

三、 LSTM前向传播算法

现在我们来总结下LSTM前向传播算法。LSTM模型有两个隐藏状态$h^{(t)}$,$C^{(t)}$，模型参数几乎是RNN的4倍，因为现在多了$W_f$,$U_f$,$b_f$,$W_c$,$U_c$,$b_c$,$W_i$,$U_i$,$b_i$,$W_o$,$U_o$,$b_o$这些参数。

前向传播过程在每个时刻的过程为：

1）更新遗忘门输出：
$$f^{(t)}=\sigma (W_f{h}^{(t-1)}+U_f{x}^{(t)}+b_f)$$

2）更新输入门两部分输出：
$$i^{(t)}=\sigma (W_i{h}^{(t-1)}+U_i{x}^{(t)}+b_i)$$

$$c^{\prime (t)}=tanh(W_c{h}^{(t-1)}+U_c{x}^{(t)}+b_c)$$

3）更新细胞状态：
$$C^{(t)}=C^{(t-1)}\odot f^{(t)}+i^{(t)}\odot a^{(t)}$$

4）更新输出门输出：
$$o^{(t)}=\sigma (W_o{h}^{(t-1)}+U_o{x}^{(t)}+b_o)$$

$$h^{(t)}=o^{(t)}\odot tanh(C^{(t)})$$

5）更新当前时刻预测输出：
$${\hat{y}}^{(t)}=\sigma (V{h}^{(t)}+c)$$

四、 LSTM反向传播算法

有了LSTM前向传播算法，接下来推导反向传播算法， 思路和RNN的反向传播算法思路一致，也是通过梯度下降法迭代更新所有的参数，关键点在于计算所有参数基于损失函数的偏导数。

在RNN中，为了反向传播误差，我们通过隐藏状态$h(t)$的梯度${\delta }^{(t)}$一步步向前传播。在LSTM这里也类似。只不过我们这里有两个隐藏状态$h^{(t)}$和$C^{(t)}$。这里我们定义两个$\delta$，即：

$$\delta (t)h=\frac{\partial L}{\partial h^{(t)}}$$

$$\delta (t)C=\frac{\partial L}{\partial C^{(t)}}$$

为了便于推导，我们将损失函数$L(t)$分成两块，一块是时刻t的损失$l(t)$，另一块是时刻t之后损失$L(t+1)$，即：
$$y=\{\begin{array}{ll}l(t)+L(t+1)& (t<\tau )\\ l(t)& (t=\tau )\end{array}$$

而在最后的时刻$\tau$的${\delta }_h^{(\tau )}$和${\delta }_C^{(\tau )}$为：
$${\delta }_h^{(\tau )}=(\frac{\partial O(\tau )}{\partial h(\tau )}{)}^T\frac{\partial L(\tau )}{\partial O(\tau )}=V^T({\hat{y}}^{(\tau )}-y^{(\tau )})$$

$${\delta }_C^{(\tau )}=(\frac{\partial h(\tau )}{\partial C(\tau )}{)}^T\frac{\partial L(\tau )}{\partial h(\tau )}={\delta }_h^{(\tau )}\odot o^{(\tau )}\odot (1-tan{h}^2(C^{(\tau )}))$$

接着我们由${\delta }_C^{(t+1)}$,${\delta }_h^{(t+1)}$反向推导${\delta }_h^{(t)}$,${\delta }_C^{(t)}$。

${\delta }_h^{(t)}$的梯度由本层t时刻的输出梯度误差和大于t时刻的误差两部分决定，即：
$${\delta }_h^{(t)}=\frac{\partial L}{\partial h^{(t)}}=\frac{\partial l^{(t)}}{\partial h(t)}+(\frac{\partial h^{(t+1)}}{\partial h^{(t)}}{)}^T\frac{\partial L^{(t+1)}}{\partial h^{(t+1)}}=V^T(\widehat{(}y{)}^{(t)}-y^{(t)})+(\frac{\partial h^{(t+1)}}{\partial h(t)}{)}^T{\delta }_h^{(t+1)}$$

整个LSTM反向传播的难点就在于$\frac{\partial h^{(t+1)}}{\partial h^{(t)}}$这部分的计算。仔细观察，由于$h^{(t)}=o^{(t)}\odot tanh(C^{(t)})$, 在第一项$o^{(t)}$中，包含一个$h$的递推关系，第二项$tanh(C^{(t)})$就复杂了，$tanh$函数里面又可以表示成：
$$C^{(t)}=C^{(t-1)}\odot f^{(t)}+i^{(t)}\odot a^{(t)}$$

$tanh$ 函数的第一项中，$f^{(t)}$包含一个$h$的递推关系，在$tanh$函数的第二项中，$i^{(}t)$和$a^{(}t)$都包含$h$的递推关系，因此，最终$\frac{\partial h(t+1)}{\partial h(t)}$这部分的计算结果由四部分组成。即：

$$\Delta C=o^{(t+1)}\odot [1-tan{h}^2(C^{(t+1)})]$$

$$\frac{\partial h^{(t+1)}}{\partial h(t)}=W_o^T[o^{(t+1)}\odot (1-o^{(t+1)})\odot tanh(C^{(t+1)})]+W_f^T[\Delta C\odot f^{(t+1)}\odot (1-f^{(t+1)})\odot C^{(t)}]+W_c^T\Delta C\odot i^{(t+1)}\odot [1-(c^{(t+1)}{)}^2]+W_i^T[\Delta C\odot c^{(t+1)}\odot i^{(t+1)}\odot (1-i^{(t+1)})]$$

而${\delta }_C^{(t)}$的反向梯度误差由前一层${\delta }_C^{(t+1)}$的梯度误差和本层的从$h^{(t)}$传回来的梯度误差两部分组成，即：

$${\delta }_C^{(t)}=(\frac{\partial C^{(t+1)}}{\partial C^{(t)}}{)}^T\frac{\partial L}{\partial C^{(t+1)}}+(\frac{\partial h^{(t)}}{\partial C^{(t)}}{)}^T\frac{\partial L}{\partial h^{(t)}}=(\frac{\partial C^{(t+1)}}{\partial C^{(t)}}{)}^T{\delta }_C^{(t+1)}+{\delta }_h^{(t)}\odot o^{(t)}\odot (1-tan{h}^2(C^{(t)}))={\delta }_C^{(t+1)}\odot f^{(t+1)}+{\delta }_h^{(t)}\odot o^{(t)}\odot (1-tan{h}^2(C^{(t)}))$$

有了${\delta }_h^{(t)}$和${\delta }_C^{(t)}$， 计算这一大堆参数的梯度就很容易了，这里只给出$W_f$的梯度计算过程，其他的$U_f$,$b_f$,$W_c$,$U_c$,$b_c$,$W_i$,$U_i$,$b_i$,$W_o$,$U_o$,$b_o$，$V$,$c$的梯度大家只要照搬就可以了。
　
$$\frac{\partial L}{\partial W_f}=\sum _{t=1}^{\tau }[{\delta }_C^{(t)}\odot C^{(t-1)}\odot f^{(t)}\odot (1-f^{(t)})](h^{(t-1)}{)}^T$$

五、LSTM总结

LSTM虽然结构复杂，但是只要理顺了里面的各个部分和之间的关系，进而理解前向反向传播算法是不难的。当然实际应用中LSTM的难点不在前向反向传播算法，这些有算法库帮你搞定，模型结构和一大堆参数的调参才是让人头痛的问题。后边，会继续更新有关于用tensorflow实现LSTM的文章！

六、项目实战

项目实战请转至：tensorflow学习笔记（八）：LSTM手写体(MNIST)识别。