第七周【任务2】长短期记忆网络LSTM的前向、后向传播

LSTM 通过刻意的设计来避免长期依赖问题。"记住"长期的信息在实践中是 LSTM 的默认行为，而非需要付出很大代价才能获得的能力!
之前的所有RNN都具有一种重复神经网络模块的链式的形式。在标准的 RNN 中，这个重复的模块只有一个非常简单的结构，例如一个 tanh/sigmoid激活函数构成的隐藏层。

LSTM 同样是这样的结构，但是重复的模块拥有一个不同的结构。不同于单一神经网络层，这里是有四个门，以一种非常特殊的方式进行交互。

Traditional LSTM结构

这里我们考虑一个完整复杂的LSTM，假设每一个时刻$t$都有输出$y_t$。为简略，图中暂时只标出状态和激活函数，暂时没有标出可学习的网络参数矩阵。

这里$c_t$是cell state, $m_t$是hidden state, $i_t$是input gate, $f_t$是forget gate, $o_t$是output gate. 这里的$c_t$是专门进行线性的循环信息传递的内部状态，然后非线性地输出信息给隐藏层的外部状态$h_t,m_t$。这里设定 $c_t,h_t\in {\mathbb{R}}^D$, 而$x_t\in {\mathbb{R}}^M$。可以看出，gate都采用了sigmoid函数(黄色部分)，而“状态线”（蓝色和红色部分）上的函数都采用了非线性激活函数$\tanh$。

内部状态$c_t$的计算为
$$\begin{array}{rl}{c}_t& =f_t\odot c_{t-1}+i_t\odot g_t\\ h_t& =\tanh (c_t)\\ m_t& =o_t\odot h_t\end{array}$$
其中，$f_t,i_t,o_t\in [0,1{]}^D$。在t时刻，$c_t$向量记录了到当前时刻为止的历史信息。$g_t\in {\mathbb{R}}^D$是通过激活函数得到的候选状态
$$g_t=\tanh \left(W_{cx}{x}_t+W_{cm}{m}_{t-1}+b_c\right)$$
外部输出是
$$y_t=\varphi \left(W_{ym}{m}_t+b_y\right)$$
LSTM这三个门建立了门控机制。一个gate是一个维度为$D$的“近似二值向量”，取值范围是[0, 1] (因为sigmoid函数)。 如果门向量其中一个元素为0，就代表“关闭”了与之相乘的状态向量中对应元素，不允许其通过；如果其中一个元素为1，就代表“开放”了状态向量中对应元素，允许其通过。

三个门的计算方式为
$$\begin{array}{rl}{i}_t& =\sigma \left(W_{ix}{x}_t+W_{im}{m}_{t-1}+W_{ic}{c}_{t-1}+b_i\right)\\ f_t& =\sigma \left(W_{fx}{x}_t+W_{fm}{m}_{t-1}+W_{fc}{c}_{t-1}+b_f\right)\\ o_t& =\sigma \left(W_{ox}{x}_t+W_{om}{m}_{t-1}+W_{oc}{c}_t+b_o\right)\end{array}$$
三个门对应的作用是：

1. 在对输入状态$x_t$进行了一次与上一时刻隐藏状态$m_{t-1}$的加和后，又进行了一次非线性激活$\tanh$，我们有了第一个隐藏层输出$g_t$作为候选状态。然后输入门$i_t$控制当前时刻$t$的候选状态$g_t$有多少信息需要保存。
2. $f_t$决定我们会从细胞状态中丢弃什么信息, 控制上一个时刻$t-1$的内部状态$c_{t-1}$需要遗忘多少信息。
3. 在输入门和输出门对上一时刻内部状态和当前时刻候选状态进行加权平均后，我们得到了新的内部状态$c_t$， 然后再进行一次非线性激活$\tanh$，有了第二个隐藏层输出$h_t$。然后输出门$o_t$控制当前时刻的内部状态$c_t,h_t$有多少信息需要输出给外部状态$m_t$。

显然，当$f_t=0,i_t=1$时，记忆单元将历史信息清空，只把当前候选状态$g_t$写入。但是不要忘了$g_t$依赖于$m_{t-1}$，因此记忆单元$c_t$其实依然和上一时刻的历史信息有所关联。当$f_t=1,i_t=0$时，那么记忆单元$c_t$，还有$h_t$就复制了上一时刻的内容。但是$m_t$和$y_t$就不光上一时刻的内容有关，也与$x_t$有关，因为$o_t$依赖于$x_t$。

当然因为门控函数是sigmoid函数，这里的门只是"软门"，上一时刻的信息和当前输入会以一定的比例进行加权平均。

【这里我们可以尝试回忆RNN作为对比。1. RNN只有一个隐藏层激活函数，对上一个时刻的隐藏状态和当前输入一起进行激活。而LSTM有两个隐藏层激活函数，首先对上一个时刻的隐藏状态和当前输入一起进行一次激活，然后对激活后的输出做记忆选择，再对选择结果进行一次激活；第二次激活的输出再被输出门进行一次输出选择。最后传递到外部，走两个路径：输出结果和输出隐藏状态。2. 这里的$m_t$对应于RNN中的$S_t$。这里的$g_t$对应RNN的$h_t$。原来的RNN只有一个参数矩阵$W$连接不同时刻，对应于这里的$W_{cm}$，但是这里多了其他与$c_{t-1}$相关的参数矩阵连接不同时刻。3. RNN中的矩阵$U$对应这里的$W_{cm}$， $V$对应这里的$W_{ym}$】

如何理解这里的记忆？

我们可以简单地把cell state这条线理解为一部电影中的主线剧情，因为它承载着从电影一开始的信息记忆细节。在电影剧情不断发展得时候，input就相当于不断推动整个剧情的支线剧情，不断地添加到主线剧情中，每条支线剧情的作用就由遗忘门和输入门两个门进行加权。

后向传播

向量梯度

首先考虑对输入输出向量的梯度。依然是看每一个向量的输出箭头有几个。从输出层往下看
$$\begin{array}{rl}\frac{\partial J}{\partial m_t}& =\frac{\partial J}{\partial y_t}{W}_{ym}^T+\frac{\partial J}{\partial \widetilde{g_{t+1}}}{W}_{cm}^T+\frac{\partial J}{\partial \widetilde{i_{t+1}}}{W}_{im}^T+\frac{\partial J}{\partial \widetilde{f_{t+1}}}{W}_{fm}^T+\frac{\partial J}{\partial \widetilde{o_{t+1}}}{W}_{om}^T\\ \frac{\partial J}{\partial h_t}& =\frac{\partial J}{\partial m_t}\odot o_t\\ \frac{\partial J}{\partial c_t}& =\frac{\partial J}{\partial h_t}\frac{d{h}_t}{d{c}_t}+\frac{\partial J}{\partial c_{t+1}}\odot f_{t+1}+\frac{\partial J}{\partial i_{t+1}}{W}_{ic}^T+\frac{\partial J}{\partial f_{t+1}}{W}_{fc}^T++\frac{\partial J}{\partial o_t}{W}_{oc}^T\end{array}$$
这里$\frac{d{h}_t}{d{c}_t}=1-h_t^2$.

然后往下到对四个门的梯度，注意，这里是求激活函数和门函数后的输出的梯度
$$\begin{array}{rl}\frac{\partial J}{\partial g_t}& =\frac{\partial J}{\partial c_t}\odot i_t\\ \frac{\partial J}{\partial i_t}& =\frac{\partial J}{\partial c_t}\odot g_t\\ \frac{\partial J}{\partial f_t}& =\frac{\partial J}{\partial c_t}\odot c_{t-1}\\ \frac{\partial J}{\partial O_t}& =\frac{\partial J}{\partial m_t}\odot h_t\end{array}$$
然后继续往下求激活函数和门函数后的输入的梯度
$$\begin{array}{rl}\frac{\partial J}{\partial {\tilde{i}}_t}& =\frac{\partial J}{\partial i_t}\frac{d{i}_t}{d{\tilde{i}}_t}=\frac{\partial J}{\partial i_t}{i}_t\left(1-i_t\right)\\ \frac{\partial J}{\partial {\tilde{f}}_t}& =\frac{\partial J}{\partial f_t}\frac{d{f}_t}{d{\tilde{f}}_t}=\frac{\partial J}{\partial f_t}{f}_t\left(1-f_t\right)\\ \frac{\partial J}{\partial {\tilde{o}}_t}& =\frac{\partial J}{\partial o_t}\frac{d{o}_t}{d{\tilde{o}}_t}=\frac{\partial J}{\partial o_t}{o}_t\left(1-o_t\right)\\ \frac{\partial J}{\partial {\tilde{g}}_t}& =\frac{\partial J}{\partial g_t}\frac{d{g}_t}{d{\tilde{g}}_t}=\frac{\partial J}{\partial g_t}\left(1-g_t^2\right)\end{array}$$
最后求对输入$x_t$的梯度
$$\frac{\partial J}{\partial x_t}=\frac{\partial J}{\partial \widetilde{g_t}}{W}_{cx}^T+\frac{\partial J}{\partial \widetilde{i_t}}{W}_{ix}^T+\frac{\partial J}{\partial \widetilde{f_t}}{W}_{fx}^T+\frac{\partial J}{\partial \widetilde{o_t}}{W}_{ox}^T$$

参数梯度

还是从输出层出发，首先对$m_t$相关的五个权重矩阵
$$\begin{array}{rl}\frac{\partial J}{\partial W_{ym}}& =m_t^T\frac{\partial J}{\partial y_t}\\ \frac{\partial J}{\partial W_{cm}}& =m_t^T\frac{\partial J}{\partial g_{t+1}}\\ \frac{\partial J}{\partial W_{im}}& =m_t^T\frac{\partial J}{\partial i_{t+1}}\\ \frac{\partial J}{\partial W_{fm}}& =m_t^T\frac{\partial J}{\partial f_{t+1}}\\ \frac{\partial J}{\partial W_{om}}& =m_t^T\frac{\partial J}{\partial o_{t+1}}\end{array}$$
与RNN情况类似, 然后每一个都要加和。注意时刻之间的参数连接，加和索引是$t-1$。
$$\begin{array}{rl}\frac{\partial J}{\partial W_{ym}}& =\sum _{i=1}^t{m}_i^T\frac{\partial J}{\partial y_i}\\ \frac{\partial J}{\partial W_{cm}}& =\sum _{i=1}^{t-1}{m}_i^T\frac{\partial J}{\partial g_{i+1}}\\ \frac{\partial J}{\partial W_{im}}& =\sum _{k=1}^{t-1}{m}_k^T\frac{\partial J}{\partial i_{k+1}}\\ \frac{\partial J}{\partial W_{fm}}& =\sum _{i=1}^{t-1}{m}_i^T\frac{\partial J}{\partial f_{i+1}}\\ \frac{\partial J}{\partial W_{om}}& =\sum _{i=1}^{t-1}{m}_i^T\frac{\partial J}{\partial o_{i+1}}\end{array}$$

然后往下对$c_t$相关的三个权重矩阵求梯度
$$\begin{array}{rl}\frac{\partial J}{\partial W_{ic}}& =c_t^T\frac{\partial J}{\partial i_{t+1}}\\ \frac{\partial J}{\partial W_{fc}}& =c_t^T\frac{\partial J}{\partial f_{t+1}}\\ \frac{\partial J}{\partial W_{oc}}& =c_t^T\frac{\partial J}{\partial o_t}\end{array}$$
同样做求和。

最后针对$x_t$相关的四个权重矩阵求梯度
$$\begin{array}{rl}\frac{\partial J}{\partial W_{cx}}& =x_t^T\frac{\partial J}{\partial g_t}\\ \frac{\partial J}{\partial W_{ix}}& =x_t^T\frac{\partial J}{\partial i_t}\\ \frac{\partial J}{\partial W_{fx}}& =x_t^T\frac{\partial J}{\partial f_t}\\ \frac{\partial J}{\partial W_{ox}}& =x_t^T\frac{\partial J}{\partial o_t}\end{array}$$
同样加和。

其实本质上还是应用全连接网络的后向传播求梯度思路，只不过这里一个LSTM有两个隐藏层，多了三个门函数。

简化版本的LSTM

简化版本就不考虑cell state对内部三个门在当前时刻和下一时刻的反馈。

三个门的计算方式为
$$\begin{array}{rl}{i}_t& =\sigma \left(W_{ix}{x}_t+W_{im}{m}_{t-1}+b_i\right)\\ f_t& =\sigma \left(W_{fx}{x}_t+W_{fm}{m}_{t-1}+b_f\right)\\ o_t& =\sigma \left(W_{ox}{x}_t+W_{om}{m}_{t-1}+b_o\right)\end{array}$$
最后所有公式可以简化表达为
$$\left[\begin{array}{c}{g}_t\\ o_t\\ i_t\\ f_t\end{array}\right]=\left[\begin{array}{c}\tanh \\ \sigma \\ \sigma \\ \sigma \end{array}\right]\left(W\left[\begin{array}{c}{x}_t\\ m_{t-1}\end{array}\right]+b\right)$$
其中$x_t\in {\mathbb{R}}^M$, $W\in {\mathbb{R}}^{4D\times (M+D)}$, $b\in {\mathbb{R}}^{4D}$, $m_{t-1}\in {\mathbb{R}}^D$。