RNN,GRU,LSTM及其变种详解

---

参考Coursera-Sequence Models
https://www.coursera.org/learn/nlp-sequence-models/notebook/X20PE/building-a-recurrent-neural-network-step-by-step

1. 前馈神经网络的缺点

对于输入向量中个分量的位置信息不感知，也即无法利用序列型输入特征向量中的位置信息（将个分量调换顺序最后训练出的模型是等价的），但是在实际的任务中，各分量是有先后关系的。例如，我们在理解一段文本时，孤立地理解每个字或者词是不够的，还要将它们作为一个整体的序列来理解。

2. RNN的基本结构与数学定义

RNN的输入数据，一般有三个维度：batch大小，时间长度，特征维数。TensorFlow中的RNN层API的输入数据shape为[batch, timesteps, feature]。因为本节的图片来自Andrew NG的Coursera公开课中的例子，因此这里的RNN输入数据形状将以Andrew NG的习惯为例，这不影响原理的讲解。输入层的维数是$(n_x,m,T_x)$,其中$n_x$是每个训练样本的维数；$m$是一个batch的大小；$T_x$是输入序列的长度。

输出层的维数是$(n_y,m,T_y)$,其中$n_y$是输出预测向量的维数；$m$是一个batch的大小；$T_y$是输出序列的长度。

我们先研究输入向量和输出向量相等，即$n_x=n_y$的情况，结构图如下所示（图片来源https://www.coursera.org/learn/nlp-sequence-models/notebook/X20PE/building-a-recurrent-neural-network-step-by-step）。

图2.1 RNN基本结构-输入输出维数相等

上下标说明：$a_5^{(2)[3]<4>}$表示第2个训练样本，第3层，第4个时刻，激活函数输出向量的第5维。

图2.2 RNN的一个基本单元

注意，输出$\hat{y}$是状态向量$a$经过线性变换再经过softmax变换得到的。

$$\begin{array}{rl}{a}^{⟨t⟩}& =tanh\left(W_{ax}{x}^{⟨t⟩}+W_{aa}{a}^{⟨t-1⟩}+b_a\right)\\ {\hat{y}}^{⟨t⟩}& =softmax\left(W_{ya}{a}^{⟨t⟩}+b_y\right)\end{array}\text{\hspace{1em}(2-1)}$$

3. GRU(Gated Recurrent Unit)

GRU的提出是为了解决RNN难以学习到输入序列中的长距离信息的问题。
GRU引入一个新的变量——记忆单元，简称$C$。$C^{⟨t⟩}$其实就是$a^{⟨t⟩}$
$C$的表达式不是一步到位的，首先定义$C$的候选值$\tilde{C}$:
$${\tilde{C}}^{⟨t⟩}=tanh\left(W_c[C^{⟨t-1⟩},x^{⟨t⟩}]+b_c\right)$$
更新门：
$${\Gamma }_u=\sigma \left(W_u[C^{⟨t-1⟩},x^{⟨t⟩}]+b_u\right)$$
在实际训练好的网络中$\Gamma$要么很接近1要么很接近0，对应着输入序列里面有些元素起作用有些元素不起作用。
$$C^{⟨t⟩}={\Gamma }_u\ast {\tilde{C}}^{⟨t⟩}+（1-{\Gamma }_u）\ast C^{⟨t-1⟩}$$

也即输入序列的有些元素，记忆单元不需要更新，有些元素需要更新。

The cat, which already ate …, was full
cat后面的词直到was之前，都不需要更新$C$,直接等于cat对应的$C$
可以解决梯度消失的问题.输出层的梯度可以传播到cat处

注：$C$和$\Gamma$都可以是想聊，它们在相乘时采用的是element-wise的乘法。当为向量时，与cat的单复数无关的词对应的$\Gamma$可能有些维度为零，有些维度不为零。为零的维度，是用来保留cat的单复数信息的；不为零的维度可能是保留其他语义信息的，比如是不是food呀之类的
目前讨论的是简化版的GRU，结构图如下

完整的GRU：

$$\begin{array}{rl}{\tilde{C}}^{⟨t⟩}& =tanh\left(W_c[{\Gamma }_r\ast C^{⟨t-1⟩},x^{⟨t⟩}]+b_c\right)\\ {\Gamma }_u& =\sigma \left(W_u[C^{⟨t-1⟩},x^{⟨t⟩}]+b_u\right)\\ {\Gamma }_r& =\sigma \left(W_r[C^{⟨t-1⟩},x^{⟨t⟩}]+b_r\right)\\ C^{⟨t⟩}& ={\Gamma }_u\ast {\tilde{C}}^{⟨t⟩}+（1-{\Gamma }_u）\ast C^{⟨t-1⟩}\\ a^{⟨t⟩}& =C^{⟨t⟩}\end{array}\text{\hspace{1em}(3-1)}$$
${\Gamma }_r$表示了${\tilde{C}}^{⟨t⟩}$和$C^{⟨t-1⟩}$之间的相关程度

4 LSTM(Long Short-Term Memory)

没有了${\Gamma }_r$，将$1-{\Gamma }_u$用${\Gamma }_f$代替
$$\begin{array}{rl}{\tilde{C}}^{⟨t⟩}& =tanh\left(W_c[a^{⟨t-1⟩},x^{⟨t⟩}]+b_c\right)\\ {\Gamma }_u& =\sigma \left(W_u[a^{⟨t-1⟩},x^{⟨t⟩}]+b_u\right)\\ {\Gamma }_f& =\sigma \left(W_f[a^{⟨t-1⟩},x^{⟨t⟩}]+b_f\right)\\ {\Gamma }_o& =\sigma \left(W_o[a^{⟨t-1⟩},x^{⟨t⟩}]+b_o\right)\\ C^{⟨t⟩}& ={\Gamma }_u\ast {\tilde{C}}^{⟨t⟩}+{\Gamma }_f\ast C^{⟨t-1⟩}\\ a^{⟨t⟩}& ={\Gamma }_o\ast tanh\left(C^{⟨t⟩}\right)\\ {\tilde{y}}^{⟨t⟩}& =softmax(a^{⟨t⟩})\end{array}\text{\hspace{1em}(4-1)}$$
(注意公式里面的${\Gamma }_u$等价于图片中的${\Gamma }_i$)

图4.1 LSTM的一个基本单元

图4.2 标准LSTM模型-输入维数等于输出维数]

4.1. peephole连接

图4.3 LSTM变种-peephole

$$\begin{array}{rl}{\tilde{C}}^{⟨t⟩}& =tanh\left(W_c[a^{⟨t-1⟩},a^{⟨t-1⟩},x^{⟨t⟩}]+b_c\right)\\ {\Gamma }_u& =\sigma \left(W_u[c^{⟨t-1⟩},a^{⟨t-1⟩},x^{⟨t⟩}]+b_u\right)\\ {\Gamma }_f& =\sigma \left(W_f[c^{⟨t-1⟩},a^{⟨t-1⟩},x^{⟨t⟩}]+b_f\right)\\ {\Gamma }_o& =\sigma \left(W_o[c^{⟨t⟩},a^{⟨t-1⟩},x^{⟨t⟩}]+b_o\right)\\ C^{⟨t⟩}& ={\Gamma }_u\ast {\tilde{C}}^{⟨t⟩}+{\Gamma }_f\ast C^{⟨t-1⟩}\\ a^{⟨t⟩}& ={\Gamma }_o\ast tanh\left(C^{⟨t⟩}\right)\\ {\tilde{y}}^{⟨t⟩}& =softmax(a^{⟨t⟩})\end{array}\text{\hspace{1em}(4-2)}$$

4.2 projection

对隐藏层状态a进行一次线性变换，降低其维数
$$\begin{array}{rl}{\tilde{C}}^{⟨t⟩}& =tanh\left(W_c[a^{⟨t-1⟩},a^{⟨t-1⟩},x^{⟨t⟩}]+b_c\right)\\ {\Gamma }_u& =\sigma \left(W_u[c^{⟨t-1⟩},a^{⟨t-1⟩},x^{⟨t⟩}]+b_u\right)\\ {\Gamma }_f& =\sigma \left(W_f[c^{⟨t-1⟩},a^{⟨t-1⟩},x^{⟨t⟩}]+b_f\right)\\ {\Gamma }_o& =\sigma \left(W_o[c^{⟨t⟩},a^{⟨t-1⟩},x^{⟨t⟩}]+b_o\right)\\ C^{⟨t⟩}& ={\Gamma }_u\ast {\tilde{C}}^{⟨t⟩}+{\Gamma }_f\ast C^{⟨t-1⟩}\\ a_0^{⟨t⟩}& ={\Gamma }_o\ast tanh\left(C^{⟨t⟩}\right)\\ a^{⟨t⟩}& =W_{proj}{a}_0^{⟨t⟩}+b_{proj}\\ {\tilde{y}}^{⟨t⟩}& =softmax(a^{⟨t⟩})\end{array}\text{\hspace{1em}(4-3)}$$

5. RNN的反向传播

$$dL/di=dL/da\cdot da/dz\cdot dz/di$$

5. RNN实战技巧

5.1. 对梯度的范围进行限制

在反向传播的过程中，为了避免梯度爆炸，可以对梯度的值进行限制，具体来说，可以给定一个区间[-a,a],小于-a的值强行定为-a，大于a的值强行定为a

5.2. 对输出值进行采样