DL notes 01：RNN/LSTM/GRU

一、RNN基本结构、梯度消失和梯度爆炸的原因

线性计算单元组成的RNN结构是最简单的一种，我们以此为例来说明造成梯度消失和梯度爆炸的原因：

上图为线性计算单元组成的RNN.依据上图，我们现假设存在一个RNN模型仅包含一个隐藏层，整个RNN模型关注的时间步数为3，$H_0$是隐藏层的初始状态，则可以用如下算式表示前向传播过程：
$$H_1=W_X{X}_1+W_H{H}_0+b_H,O1=W_O{H}_1+b_O$$$$H_2=W_X{X}_2+W_H{H}_1+b_H,O2=W_O{H}_2+b_O$$$$H_3=W_X{X}_3+W_H{H}_2+b_H,O3=W_O{H}_3+b_O$$

其中$X=[X_0,X_1,X_2,..X_t]$,$Y=[Y_0,Y_1,Y_2,..Y_t]$代表$t$时间步长的特征数据和真值标签。$H=[H_0,H_1,H_2,..H_t]$ 代表RNN中的隐节点状态，$W_X,W_H,W_O$是各层的权重，$b_H,b_O$是偏置。
因为是最简单的线性计算单元，我们假设最后使用MSE作为损失函数：$$L_t=\frac{1}{2}{\left(Yt-O_t\right)}^2$$
对于整个RNN的训练，我们通常需要统计每个时刻的损失之和或平均值，这里我们以每个时间步数累积损失作为整个模型的训练损失：
$$L=\sum _{t=0}^T{L}_t$$
假设目前只考虑初始的三个时间步长，我们选取最长一条反向传播通路为例，即以$L_3$对RNN中的参数求偏导：
$$\frac{\partial L_3}{\partial W_O}=\frac{\partial L_3}{\partial O_3}\frac{\partial O_3}{\partial W_O}$$

$$\frac{\partial L_3}{\partial W_X}=\frac{\partial L_3}{\partial O_3}\frac{\partial O_3}{\partial H_3}\frac{\partial H_3}{\partial W_X}+\frac{\partial L_3}{\partial O_3}\frac{\partial O_3}{\partial H_3}\frac{\partial H_3}{\partial H_2}\frac{\partial H_2}{\partial W_X}+\frac{\partial L_3}{\partial O_3}\frac{\partial O_3}{\partial H_3}\frac{\partial H_3}{\partial H_2}\frac{\partial H_2}{\partial H_1}\frac{\partial H_1}{\partial W_X}$$

$$\frac{\partial L_3}{\partial W_H}=\frac{\partial L_3}{\partial O_3}\frac{\partial O_3}{\partial H_3}\frac{\partial H_3}{\partial W_H}+\frac{\partial L_3}{\partial O_3}\frac{\partial O_3}{\partial H_3}\frac{\partial H_3}{\partial H_2}\frac{\partial H_2}{\partial W_H}+\frac{\partial L_3}{\partial O_3}\frac{\partial O_3}{\partial H_3}\frac{\partial H_3}{\partial H_2}\frac{\partial H_2}{\partial H_1}\frac{\partial H_1}{\partial W_H}$$

从中可以发现根据链式法则求导，$W_X,W_H$ 会重复出现，这是由于$W_X,W_H$在每个时间步中都参与隐节点$H$的状态估计，随着时间步数的增加，反向传播的路径将会相应的延长。相应的，我们可以总结出任意时刻$t$损失函数对$W_X$的偏导：
$$\frac{\partial L_t}{\partial W_X}=\sum _{k=0}^t\frac{\partial L_t}{\partial O_t}\frac{\partial O_t}{\partial H_t}\left(\prod _{j=k+1}^t\frac{\partial H_j}{\partial H_{j-1}}\right)\frac{\partial H_k}{\partial W_X}$$
任意时刻$t$损失函数对$W_H$求偏导同上，只需替换$W_X$。
如果隐藏层的激活函数为$tanh$,则有$$H_j=tanh(W_X{X}_j+W_H{H}_{j-1}+b_H)$$$$\prod _{j=k+1}^t\frac{\partial H_j}{\partial H_{j-1}}=\prod _{j=k+1}^{t}tan{h}^{{}^{\prime }}\cdot W_H$$
激活函数$tanh$的导数有如下特性：
$$tan{h}^{{}^{\prime }}x=1-tan{h}^{2}x$$
因此可知$0<tan{h}^{{}^{\prime }}\le 1$。
在训练过程中，$H_j$的状态极少情况下为0，$tan{h}^{{}^{\prime }}$通常是小于1的，如果$W_H$值在$(0,1)$范围内,则${\prod }_{j=k+1}^{t}tan{h}^{{}^{\prime }}\cdot W_H$ 趋近于0，导致梯度消失。
如果$W_H$值很大，则会导致${\prod }_{j=k+1}^{t}tan{h}^{{}^{\prime }}\cdot W_H$ 连乘后结果趋近于无穷，导致梯度爆炸。
如何避免这种现象？在RNN的课程学习中，提到裁剪梯度的方法，假设我们把所有模型参数的梯度拼接成一个向量 $\mathbf{g}$ ，并设裁剪的阈值是 $\theta$ 。裁剪后的梯度即：
$$\min \left(\frac{\theta }{\Vert \mathbf{g}\Vert },1\right)\mathbf{g}$$
梯度的的 $L_2$ 范数不超过$\theta$。函数如下：

def grad_clipping(params, theta, device):
    norm = torch.tensor([0.0], device=device)
    for param in params:
        norm += (param.grad.data ** 2).sum()
    norm = norm.sqrt().item()
    if norm > theta:
        for param in params:
            param.grad.data *= (theta / norm)

裁剪梯度是一个简单好用的防止梯度爆炸的方法，实际上造成梯度衰减或梯度爆炸的根本原因是${\prod }_{j=k+1}^t\frac{\partial H_j}{\partial H_{j-1}}$这一连乘项，理想的消除方法就是使$\frac{\partial H_j}{\partial H_{j-1}}\in [0,1]$其实这就是LSTM做的事情，至于细节如何则会在后续的篇幅中加以介绍。

二、LSTM

长短期记忆（Long short-term memory, LSTM）是一种特殊的RNN结构单元，主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。简单来说，就是相比普通的RNN，LSTM能够在更长的序列中有更好的表现。

$$I_t=\sigma (X_t{W}_{xi}+H_{t-1}{W}_{hi}+b_i)$$$$F_t=\sigma (X_t{W}_{xf}+H_{t-1}{W}_{hf}+b_f)$$$$O_t=\sigma (X_t{W}_{xo}+H_{t-1}{W}_{ho}+b_o)$$$${\tilde{C}}_t=tanh(X_t{W}_{xc}+H_{t-1}{W}_{hc}+b_c)$$$$C_t=F_t\odot C_{t-1}+I_t\odot {\tilde{C}}_t$$$$H_t=O_t\odot tanh(C_t)$$$$Y_t=\varphi (H_t{W}_{hy}+b_y)$$
相比RNN只有一个传递状态$H_t$，LSTM有两个传输状态，一个 $C_t$ （cell state），和一个 $H_t$ （hidden state）。其中对于传递下去的 $C_t$ 改变得很慢，通常输出的 $C_t$ 是上一个状态传过来的$C_{t-1}$ 加上一些数值。而 $H_t$ 则在不同节点下往往会有很大的区别。$\odot$ 是Hadamard Product，也就是操作矩阵中对应的元素相乘，因此要求两个相乘矩阵是同型的。 $\oplus$ 则代表进行矩阵加法。

LSTM主要包括以下几个结构：

• 遗忘门:控制上一时间步的记忆细胞
• 输入门:控制当前时间步的输入
• 输出门:控制从记忆细胞到隐藏状态
• 记忆细胞：⼀种特殊的隐藏状态的信息的流动
  三个门输出都经过诸如$sigmoid$的激活函数，映射到$(0,1)$的范围，形成门控状态。而记忆细胞则是通过$tanh$转换成$(-1,1)$的范围，这里作为记忆细胞短期依赖输出而非门控信号。

LSTM 内部主要有三个阶段：

1. 忘记阶段。这个阶段主要是对上一个节点传进来的输入进行选择性忘记。简单来说就是会 “忘记不重要的，记住重要的”。具体来说是通过计算得到的 $F_t$ （f表示forget）来作为忘记门控，来控制上一个状态的$C_{t-1}$ 哪些需要留哪些需要忘。

2. 选择记忆阶段。这个阶段将这个阶段的输入有选择性地进行“记忆”。主要是会对输入 $X_t$进行选择记忆。哪些重要则着重记录下来，哪些不重要，则少记一些。当前的输入内容由前面计算得到的${\tilde{C}}_t$表示。而选择的门控信号则是由 $I_t$ （i代表information）来进行控制。

将上面两步得到的结果相加，即可得到传输给下一个状态的$C_t$ 。也就是上图中的第一个公式。这里也使用$tanh$起到对输入的信息进行压缩的作用。

3. 输出阶段。这个阶段将决定哪些将会被当成当前状态的输出。主要是通过 $O_t$来进行控制的。并且还对上一阶段得到的 $C_t$进行了放缩（通过一个tanh激活函数进行变化）。

与普通RNN类似，输出 $Y_t$往往最终也是通过$H_t$变化得到。

三、GRU

GRU（Gate Recurrent Unit）是循环神经网络（Recurrent Neural Network, RNN）的一种。和LSTM（Long-Short Term Memory）一样，也是为了解决长期记忆和反向传播中的梯度等问题而提出来的。

GRU和LSTM在很多情况下实际表现上相差无几，那么为什么我们要使用新人GRU（2014年提出）而不是相对经受了更多考验的LSTM（1997提出）呢？其实通过代码我们就可以发现，GRU的权重参数相比LSTM减少了1/4。相比LSTM，使用GRU能够达到相当的效果，并且相比之下更容易进行训练，能够很大程度上提高训练效率，因此很多时候会更倾向于使用GRU。
$$R_t=\sigma (X_t{W}_{xr}+H_{t-1}{W}_{hr}+b_r)$$ $$Z_t=\sigma (X_t{W}_{xz}+H_{t-1}{W}_{hz}+b_z)$$ $${\tilde{H}}_{t-1}=R_t\odot H_{t-1}$$ $${\tilde{H}}_t=tanh(X_t{W}_{xh}+{\tilde{H}}_{t-1}{W}_{hh}+b_h)$$ $$H_t=Z_t\odot H_{t-1}+(1-Z_t)\odot {\tilde{H}}_t$$

GRU很聪明的一点就在于，我们使用了同一个门控$Z_t$ 就同时可以进行遗忘和选择记忆（LSTM则要使用多个门控）。$R_t$在GRU中被称作重置⻔有助于捕捉时间序列⾥短期的依赖关系；$Z_t$被称作更新⻔有助于捕捉时间序列⾥⻓期的依赖关系。
$Z_t\odot H_{t-1}$：表示对原本隐藏状态的选择性“遗忘”。这里的 $Z_t$ 可以想象成遗忘门（forget gate），忘记$H_{t-1}$ 维度中一些不重要的信息。
$(1-Z_t)\odot {\tilde{H}}_t$： 表示对包含当前节点信息的${\tilde{H}}_t$ 进行选择性”记忆“。与上面类似，这里的$(1-Z_t)$同理会忘记 ${\tilde{H}}_t$维度中的一些不重要的信息。或者，这里我们更应当看做是对${\tilde{H}}_t$ 维度中的某些信息进行选择。
$H_t=Z_t\odot H_{t-1}+(1-Z_t)\odot {\tilde{H}}_t$ ：结合上述，这一步的操作就是忘记传递下来的 $H_{t-1}$ 中的某些维度信息，并加入当前节点输入的某些维度信息。

可以看到，这里的遗忘 $Z_t$和选择$(1-Z_t)$ 是联动的。也就是说，对于传递进来的维度信息，我们会进行选择性遗忘，则遗忘了多少权重 （$Z_t$），我们就会使用包含当前输入的 ${\tilde{H}}_t$ 中所对应的权重进行弥补 $(1-Z_t)$。以保持一种”恒定“状态。

四、深度循环神经网络

$${\mathbf{H}}_t^{(1)}=\varphi ({\mathbf{X}}_t{\mathbf{W}}_{xh}^{(1)}+{\mathbf{H}}_{t-1}^{(1)}{\mathbf{W}}_{hh}^{(1)}+{\mathbf{b}}_h^{(1)})$$$${\mathbf{H}}_t^{(\ell )}=\varphi ({\mathbf{H}}_t^{(\ell -1)}{\mathbf{W}}_{xh}^{(\ell )}+{\mathbf{H}}_{t-1}^{(\ell )}{\mathbf{W}}_{hh}^{(\ell )}+{\mathbf{b}}_h^{(\ell )})$$$${\mathbf{O}}_t={\mathbf{H}}_t^{(L)}{\mathbf{W}}_{hq}+{\mathbf{b}}_q$$
在pytorch的实现中以num_layers参数进行层数的设置和调整。

五、双向循环神经网络

$${\overrightarrow{\mathbf{H}}}_t=\varphi ({\mathbf{X}}_t{\mathbf{W}}_{xh}^{(f)}+{\overrightarrow{\mathbf{H}}}_{t-1}{\mathbf{W}}_{hh}^{(f)}+{\mathbf{b}}_h^{(f)})$$$${\overleftarrow{\mathbf{H}}}_t=\varphi ({\mathbf{X}}_t{\mathbf{W}}_{xh}^{(b)}+{\overleftarrow{\mathbf{H}}}_{t+1}{\mathbf{W}}_{hh}^{(b)}+{\mathbf{b}}_h^{(b)})$$$${\mathbf{H}}_t=({\overrightarrow{\mathbf{H}}}_t,{\overleftarrow{\mathbf{H}}}_t)$$$${\mathbf{O}}_t={\mathbf{H}}_t{\mathbf{W}}_{hq}+{\mathbf{b}}_q$$
在pytorch的实现中以bidirectional参数进行层数的设置和调整。