LSTM公式详解&推导

书籍简介

《Surpervised Sequence Labelling with Recurrent Neural Network》（《用循环神经网络进行序列标记》），RNN（Recurrent Neural Network，循环神经网络）经典教材，由多伦多大学Alexander Graves所著，详细叙述了各种RNN模型及其推导。本文介绍该书的LSTM部分。对于该书，想深入了解的朋友点这里获取资源。

LSTM理解

  LSTM(Long Short-Term Memory Networks,长短时记忆网络)，由Hochreiter和Schmidhuber于1997年提出，目的是解决一般循环神经网络中存在的梯度爆炸（输入信息激活后权重过小）及梯度消失（例如sigmoid、tanh的激活值在输入很大时其梯度趋于零）问题，主要通过引入门和Cell状态的概念来实现梯度的调整，已被大量应用于时间序列预测等深度学习领域。
  下面的描述主要侧重公式推导，对LSTM来由更详细的讨论请见《Step-by-step to LSTM: 解析LSTM神经网络设计原理》。

LSTM流程简介

  LSTM采用了门控输出的方式，即三门（输入门、遗忘门、输出门）两态（Cell State长时、Hidden State短时）。其核心即Cell State，指用于信息传播的Cell的状态，在结构示意图（图1，图源Understanding LSTMs，略改动）中是最上面的直链（从$C_{t-1}$到$C_t$）。

图1

  Memory Cell 接受两个输入，即上一时刻的输出值$h_{t-1}$和本时刻的输入值$x_t$，由这两个参数 先进入遗忘门，得到决定要舍弃的信息 $f_t$（即权重较小的信息）后，再进入输入门，得到决定要更新的信息 $i_t$（即与上一Cell相比权重较大的信息）以及当前时刻的Cell状态 ${\tilde{C}}_t$（候选向量，可理解为中间变量，存储当前 Cell State 信息），最后由这两个门（遗忘门，输入门）的输出值（即 $f_t,i_t,\widetilde{C_t}$）进行组合（上一Cell状态$C^{t-1}\times$要遗忘信息的激活值$f_t$ 与 当前时刻Cell状态$\widetilde{C_t}\times$需要记忆信息的激活值$i_t$进行叠加，从图中可以更直观得到），得到分别的长时（$C_t$）和短时（$h_t$）信息，最后进行存储操作及对下一个神经元的输入。下图2介绍了LSTM在网络中是如何工作的。

图2

根据图1，可依次得到三个门的形式方程如下（符号与图中保持一致）：

1. 遗忘门：

$$f_t=\sigma \left(W_f\cdot [h_{t-1},x_t]+b_f\right)$$

2. 输入门：

$$i_t=\sigma \left(W_i\cdot [h_{t-1},x_t]+b_i\right)$$

$$\widetilde{C_t}=\tanh \left(W_C\cdot [h_{t-1},x_t]+b_C\right)$$

以及$t$时刻的Cell 状态（长时）方程：

$$C_t=f_t\cdot C_{t-1}+i_t\cdot \widetilde{C_t}$$

3. 输出门：

$$o_t=\sigma \left(W_o\cdot [h_{t-1},x_t]+b_o\right)$$

$$h_t=o_t\cdot \tanh (C_t)$$

算法及公式

  根据上面的描述及图1，首先定义如下符号（符号为方便理解，与书中保持一致）：

一些函数

• $f$ ：门的激活函数
• $g$ ：Cell输入的激活函数
• $h$ ：Cell输出的激活函数

---

• $\mathcal{L}$ ： 训练模型时的损失函数
• $\sigma (z)$：Sigmoid激活函数
  $$\sigma (z)=\frac{1}{1+{\mathrm{e}}^{-z}}=\frac{1+\tanh (z/2)}{2},$$

$${\sigma }^{\prime }(z)=\sigma (z)[1-\sigma (z)].$$

• $\tanh (z)$：tanh激活函数
  $$\tanh (z)=\frac{{\mathrm{e}}^z-{\mathrm{e}}^{-z}}{{\mathrm{e}}^z+{\mathrm{e}}^{-z}},$$

$${\tanh }^{\prime }(z)=1-{\tanh }^2(z).$$

一些符号

• $I$ ：输入层 信息的数量
• $K$ ：输出层 信息的数量
• $H$ ：隐层 Cell状态的数量（注意这里的Cell与下面的Cell不同，代表短时记忆Cell），指图1中最下面的一条直链，即从$h_{t-1}$到$h_t$，处理短时记忆
• $C$ ：Cell状态信息（长时记忆状态）的数量
• $T$ ：总时间数（网络层总数），即$t=0,1,2,\cdots ,T$

---

• $\varphi$ ：下标，指一个LSTM单元的遗忘门
• $\iota$ ：下标，指一个LSTM单元的输入门
• $\omega$ ：下标，指一个LSTM单元的输出门
• $c$ ：下标，指神经元中某一个$C$ 记忆元胞（Cell）

---

• $w_{ij}$ ：从单元$i$到单元$j$的权重
• $b_j^t$ ：$t$时刻第$j$个单元的激活值，在$t=0$时初始化为$0$
• $a_j^t$ ：$t$时刻第$j$个单元的带权输入，可作抽象定义如下

$$a_j^t=\sum _i{w}_{ij}{b}_i^{t-1}.$$

• $s_c^t$ ：$t$时刻记忆元胞 $c$ 的状态（State），在$t=0$时初始化为$0$

• ${\delta }_j^t$ ：$t$时刻第$j$个单元的误差，在$t=T+1$时初始化为$0$。一般化的定义为

$${\delta }_j^t=\frac{\partial \mathcal{L}}{\partial a_j^t}.$$

前向传播

由上述的形式方程，很容易得到下面的前向传播公式：

1. 遗忘门。由图1可知，遗忘门的输出依赖三个变量（图1中表示为左下角的两个输入和左上角的一个输入），分别是：上一时刻$(t-1)$神经元的短时记忆输出$h_{t-1}$，本时刻$(t)$神经元的输入$x_t$以及上一时刻$(t-1)$神经元的长时记忆输出Cell状态$s_c^{t-1}$，乘以权重因子后对层数求和即可得到遗忘门的输入值及激活值如下：

$$a_{\varphi }^t=\sum _{i=1}^I{w}_{i\varphi }{x}_i^t+\sum _{h=1}^H{w}_{h\varphi }{b}_h^{t-1}+\sum _{c=1}^C{w}_{c\varphi }{s}_c^{t-1}\text{\hspace{1em}(1.1)}$$

$$b_{\varphi }^t=f(a_{\varphi }^t)\text{\hspace{1em}(1.2)}$$

2. 输入门。其输出所依赖的变量与遗忘门相同，故同理可得

$$a_{\iota }^t=\sum _{i=1}^I{w}_{i\iota }{x}_i^t+\sum _{h=1}^H{w}_{h\iota }{b}_h^{t-1}+\sum _{c=1}^C{w}_{c\iota }{s}_c^{t-1}\text{\hspace{1em}(2.1)}$$

$$b_{\iota }^t=f(a_{\iota }^t)\text{\hspace{1em}(2.2)}$$

3. Cell状态。由输入门的$t$时刻的Cell 状态（长时）方程立即可得。

$$a_c^t=\sum _{i=1}^I{w}_{ic}{x}_i^t+\sum _{h=1}^H{w}_{hc}{b}_h^{t-1}\text{\hspace{1em}(3.1)}$$

一一对应形式方程即可得到$s_c^t$表达式如下

$$\begin{array}{rl}{C}_t& =f_t\cdot C_{t-1}+i_t\cdot \widetilde{C_t}\\ ⋮& ⋮⋮⋮⋮\\ s_c^t& =b_{\varphi }^t\cdot s_c^{t-1}+b_{\iota }^t\cdot g(a_c^t)\end{array}\text{\hspace{1em}(3.2)}$$

4. 输出门。由遗忘门同理可得

$$a_{\omega }^t=\sum _{i=1}^I{w}_{i\omega }{x}_i^t+\sum _{h=1}^H{w}_{h\omega }{b}_h^{t-1}+\sum _{c=1}^C{w}_{c\omega }{s}_c^{t-1}\text{\hspace{1em}(4.1)}$$

$$b_{\omega }^t=f(a_{\omega }^t)\text{\hspace{1em}(4.2)}$$

5. Cell输出。指激活后的Cell状态（短时记忆），同理可由形式方程一一对应得到，即

$$\begin{array}{rl}{h}_t& =o_t\cdot \tanh (C_t)\\ ⋮& ⋮⋮\\ b_c^t& =b_{\omega }^t\cdot h(s_c^t)\end{array}\text{\hspace{1em}(5.1)}$$

反向传播

  重头戏来了！建议不熟悉反向传播的朋友看一下我的另一篇文章nndl学习笔记（二）反向传播公式推导，帮助你快速理解&回顾反向传播。

  同样地，为了与前向传播对应，这里也采用五个部分进行证明。反向传播，其目的就是通过计算损失函数关于权重和偏置的偏导数（本例中不对偏置进行分析），从而得到每一个神经元上出现的误差（误差定义为损失函数对神经元输入的偏导数），最后均摊给每个神经元，以此逐步减小误差。因为需要反向传播，所以顺序与前向传播正好相反（从后往前计算）。

关于误差的定义

• Cell 输出的误差（短时记忆）$${ϵ}_c^t=\frac{\partial \mathcal{L}}{\partial b_c^t}$$
• Cell 状态的误差（长时记忆）$${ϵ}_s^t=\frac{\partial \mathcal{L}}{\partial s_c^t}$$
• ${\delta }_j^t$ ：$t$时刻第$j$个单元的误差，在$t=T+1$时初始化为$0$。定义为

$${\delta }_j^t=\frac{\partial \mathcal{L}}{\partial a_j^t}$$

公式推导

  这些公式的核心，都是根据链式法则求偏导数，需要注意损失函数与哪些变量有关，找准变量，再应用求导法则，即可轻松计算出表达式。

1. Cell输出（短时记忆）。
   首先找Cell输出与哪些量有关，从图1可以得知其只与隐层（Cell短时记忆状态）和输出层两个部分的信息有关，再根据误差定义${\delta }_j^t=\frac{\partial \mathcal{L}}{\partial a_j^t}$，可以得到：
   $$\begin{array}{rl}{ϵ}_c^t& =\frac{\partial \mathcal{L}}{\partial b_c^t}=\frac{\partial \mathcal{L}}{\partial a_j^t}\frac{\partial a_j^t}{\partial b_c^t}\\ & =\sum _{h=1}^H\frac{\partial \mathcal{L}}{\partial a_h^{t+1}}\frac{\partial a_h^{t+1}}{\partial b_c^t}+\sum _{k=1}^K\frac{\partial \mathcal{L}}{\partial a_k^t}\frac{\partial a_k^t}{\partial b_c^t}\\ & =\sum _{h=1}^H{\delta }_h^{t+1}\frac{\partial a_h^{t+1}}{\partial b_c^t}+\sum _{k=1}^K{\delta }_k^t\frac{\partial a_k^t}{\partial b_c^t}\end{array}$$
   注意到这里$H$层时间状态取$t+1$而$K$层取$t$，是为了与前向传播式子的意义保持一致，即：隐层Cell状态前向传播需要前一时刻$(t-1)$的隐层Cell状态，而输出只需与本时刻输入的时刻$(t)$一致即可，而反向传播正好相反（具体可见图1）。
   再根据带权输入的一般定义（同上，需要根据情况构造定义式，即：$H$层时刻变化而$K$层时刻保持不变）
   $$a_j^t=\sum _i{w}_{ij}{b}_i^{t-1}$$
   代入得到（注意这里有一步化简，去掉求和号，具体原因可见nndl学习笔记（二）反向传播公式推导公式一的推导部分）：
   $$\begin{array}{rl}{ϵ}_c^t& =\sum _{h=1}^H{\delta }_h^{t+1}\frac{\partial (w_{ch}{b}_c^t)}{\partial b_c^t}+\sum _{k=1}^K{\delta }_k^t\frac{\partial (w_{ck}{b}_c^t)}{\partial b_c^t}\\ & =\sum _{h=1}^H{\delta }_h^{t+1}{w}_{ch}+\sum _{k=1}^K{\delta }_k^t{w}_{ck}\end{array}$$

2. 输出门。
   这里只需用到误差定义式${ϵ}_c^t=\frac{\partial \mathcal{L}}{\partial b_c^t}$及前向传播的$(5.1)$式，最后一步求和是指针对所有神经元输出门激活值误差的叠加。
   $$\begin{array}{rl}{\delta }_{\omega }^t& =\frac{\partial \mathcal{L}}{\partial a_{\omega }^t}=\frac{\partial \mathcal{L}}{\partial b_{\omega }^t}\frac{\partial b_{\omega }^t}{\partial a_{\omega }^t}\\ & =\frac{\partial \mathcal{L}}{\partial b_{\omega }^t}{f}^{\prime }(a_{\omega }^t)\\ & =f^{\prime }(a_{\omega }^t)\frac{\partial \mathcal{L}}{\partial b_c^t}\frac{\partial b_c^t}{\partial b_{\omega }^t}\\ & =f^{\prime }(a_{\omega }^t){ϵ}_c^t\frac{\partial b_c^t}{\partial b_{\omega }^t}\\ & =f^{\prime }(a_{\omega }^t){ϵ}_c^t\frac{\partial \left[b_{\omega }^{t}h(s_c^t)\right]}{\partial b_{\omega }^t}\\ & =f^{\prime }(a_{\omega }^t)\sum _{c=1}^{C}h(s_c^t){ϵ}_c^t\end{array}$$

3. Cell状态（长时记忆）。最长的一个式子，但是把握好变量之间的关系就可以轻松得出（ 直接寻找前向传播众多公式中哪个含有变量 $s_c^t$，这样再进行链式法则处理，会更加直观，由于五个式子都含有$s_c^t$，故下面第四个等号后的式子有五项）。
     推导过程与Cell输出（短时记忆）部分类似，要用到误差的一般定义${\delta }_j^t=\frac{\partial \mathcal{L}}{\partial a_j^t}$，并注意到本时刻Cell状态（长时记忆）是由上一时刻遗忘门$(\varphi )$和输入门$(\iota )$的输出共同决定的（反映在图上就是图1中上面直链的加号）；在反向传播中，除了需要将Cell状态（长时记忆）的时间取反$(s_c^{t+1})$，还要考虑三个门误差的积累（第二个等号后式子第一项），注意这里计算输出门误差时没有取后一时刻$t+1$，是因为遗忘门和输入门的误差在前向传播时会传递给下一时刻的带权输入，故反向传播需要后一时刻来计算误差；而输出门误差在本时刻即可计算。反映到方程上为第二个等号后的方程。
   $$\begin{array}{rl}{ϵ}_s^t& =\frac{\partial \mathcal{L}}{\partial s_c^t}\\ & =\frac{\partial \mathcal{L}}{\partial a_j^{t+1}}\frac{\partial a_j^{t+1}}{\partial s_c^t}+\frac{\partial \mathcal{L}}{\partial b_c^t}\frac{\partial b_c^t}{\partial s_c^t}+\frac{\partial \mathcal{L}}{\partial s_c^{t+1}}\frac{\partial s_c^{t+1}}{\partial s_c^t}\\ & ={\delta }_j^{t+1}\frac{\partial a_j^{t+1}}{\partial s_c^t}+{ϵ}_c^t\frac{\partial \left[b_{\omega }^{t}h(s_c^t)\right]}{\partial s_c^t}+{ϵ}_s^{t+1}\frac{\partial \left[b_{\varphi }^{t+1}\cdot s_c^t+b_{\iota }^{t+1}\cdot g(a_c^{t+1})\right]}{\partial s_c^t}\\ & ={\delta }_{\varphi }^{t+1}\frac{\partial a_{\varphi }^{t+1}}{\partial s_c^t}+{\delta }_{\iota }^{t+1}\frac{\partial a_{\iota }^{t+1}}{\partial s_c^t}+{\delta }_{\omega }^t\frac{\partial a_{\omega }^{t+1}}{\partial s_c^t}+{ϵ}_c^t{b}_{\omega }^t{h}^{\prime }(s_c^t)+{ϵ}_s^{t+1}{b}_{\varphi }^{t+1}\\ & ={\delta }_{\varphi }^{t+1}\frac{\partial \left({\sum }_{i=1}^I{w}_{i\varphi }{x}_i^{t+1}+{\sum }_{h=1}^H{w}_{h\varphi }{b}_h^t+{\sum }_{c=1}^C{w}_{c\varphi }{s}_c^t\right)}{\partial s_c^t}\\ & +{\delta }_{\iota }^{t+1}\frac{\partial \left({\sum }_{i=1}^I{w}_{i\iota }{x}_i^{t+1}+{\sum }_{h=1}^H{w}_{h\iota }{b}_h^t+{\sum }_{c=1}^C{w}_{c\iota }{s}_c^t\right)}{\partial s_c^t}\\ & +{\delta }_{\omega }^t\frac{\partial \left({\sum }_{i=1}^I{w}_{i\omega }{x}_i^{t+1}+{\sum }_{h=1}^H{w}_{h\omega }{b}_h^t+{\sum }_{c=1}^C{w}_{c\omega }{s}_c^t\right)}{\partial s_c^t}\\ & +{ϵ}_c^t{b}_{\omega }^t{h}^{\prime }(s_c^t)+{ϵ}_s^{t+1}{b}_{\varphi }^{t+1}\\ & ={ϵ}_c^t{b}_{\omega }^t{h}^{\prime }(s_c^t)+{ϵ}_s^{t+1}{b}_{\varphi }^{t+1}+{\delta }_{\varphi }^{t+1}{w}_{c\varphi }+{\delta }_{\iota }^{t+1}{w}_{c\iota }+{\delta }_{\omega }^t{w}_{c\omega }\end{array}$$

4. Cell输出（短时记忆）。
   只需应用前向传播的$(3.2)$式，即可得到：
   $$\begin{array}{rl}{\delta }_c^t& =\frac{\partial \mathcal{L}}{\partial a_c^t}=\frac{\partial \mathcal{L}}{\partial s_c^t}\frac{\partial s_c^t}{\partial a_c^t}\\ & ={ϵ}_s^t\frac{\partial \left[b_{\varphi }^t\cdot s_c^{t-1}+b_{\iota }^t\cdot g(a_c^t)\right]}{\partial a_c^t}\\ & ={ϵ}_s^t{b}_{\iota }^t{g}^{\prime }(a_c^t)\end{array}$$

5. 遗忘门。方法同输出门推导，只需应用前向传播的$(3.2)$式，可立即得到：
   $$\begin{array}{rl}{\delta }_{\varphi }^t& =\frac{\partial \mathcal{L}}{\partial a_{\varphi }^t}=\frac{\partial \mathcal{L}}{\partial b_{\varphi }^t}\frac{\partial b_{\varphi }^t}{\partial a_{\varphi }^t}\\ & =\frac{\partial \mathcal{L}}{\partial b_{\varphi }^t}{f}^{\prime }(a_{\varphi }^t)\\ & =f^{\prime }(a_{\varphi }^t)\frac{\partial \mathcal{L}}{\partial s_c^t}\frac{\partial s_c^t}{\partial b_{\varphi }^t}\\ & =f^{\prime }(a_{\varphi }^t){ϵ}_s^t\frac{\partial s_c^t}{\partial b_{\varphi }^t}\\ & =f^{\prime }(a_{\varphi }^t){ϵ}_s^t\frac{\partial \left[b_{\varphi }^t{s}_c^{t-1}+b_{\iota }^{t}g(a_c^t)\right]}{\partial b_{\varphi }^t}\\ & =f^{\prime }(a_{\varphi }^t)\sum _{c=1}^C{s}_c^{t-1}{ϵ}_s^t\end{array}$$

6. 输入门。方法同输出门，只需应用前向传播的$(3.2)$式，即可得到：
   $$\begin{array}{rl}{\delta }_{\iota }^t& =\frac{\partial \mathcal{L}}{\partial a_{\iota }^t}=\frac{\partial \mathcal{L}}{\partial b_{\iota }^t}\frac{\partial b_{\iota }^t}{\partial a_{\iota }^t}\\ & =\frac{\partial \mathcal{L}}{\partial b_{\iota }^t}{f}^{\prime }(a_{\iota }^t)\\ & =f^{\prime }(a_{\iota }^t)\frac{\partial \mathcal{L}}{\partial s_c^t}\frac{\partial s_c^t}{\partial b_{\iota }^t}\\ & =f^{\prime }(a_{\iota }^t){ϵ}_s^t\frac{\partial s_c^t}{\partial b_{\iota }^t}\\ & =f^{\prime }(a_{\iota }^t){ϵ}_c^t\frac{\partial \left[b_{\varphi }^t{s}_c^{t-1}+b_{\iota }^{t}g(a_c^t)\right]}{\partial b_{\iota }^t}\\ & =f^{\prime }(a_{\iota }^t)\sum _{c=1}^{C}g(a_c^t){ϵ}_s^t\end{array}$$

总结

  本文介绍了这本书LSTM部分（第四章）的流程详解及公式推导，其中难免会有些许错误，望大家指出。得到公式后，下一步就是编程实现了，这里可以参考另一篇文章零基础入门深度学习(6) - 长短时记忆网络(LSTM)，有非常细致的讲解。第一篇万字长文（其实主要是公式多），如果有用就点个赞吧！

P.S. PPT绘图大法是真的香，对我这种小白十分友好，有兴趣的朋友可以玩玩😆。