RNN、LSTM、GRU 的梯度消失及梯度爆炸

RNN、LSTM、GRU 的梯度消失及梯度爆炸

RNN

RNN 结构

RNN 所有的隐层共享参数 $(U,V,W)$。

前向传播

假设 $t$ 时刻的输入为 $x_t$， 隐藏状态为 $s_t$，输出为 $o_t$，那么
$$s_t=f(W{s}_{t-1}+U{x}_t)$$$$o_t=g(V{s}_t)$$
其中，$f,g$ 为激活函数，$f$ 常取 $tanh$，$g$ 用于预测，常取 $softmax$。

损失函数

假设用于序列建模，输入为 $(x_1,x_2,...,x_T)$ ，标签为 $(y_1,y_2,...,y_T)$，模型的输出为 $(o_1,o_2,...,o_T)$。那么该样本的损失一般可写为 ：
$$L=\sum _{t=1}^T{L}_t$$$$L_t=loss\_function(y_t,o_t)$$

后向传播（BPTT）

RNN 使用梯度下降更新参数 $(W,V,U)$。参数 $V$ 的更新较为简单:
$$\frac{\partial L}{\partial V}=\sum _{t=1}^T\frac{\partial L_t}{\partial V}=\sum _{t=1}^T\frac{\partial L_t}{\partial o_t}\frac{\partial o_t}{\partial V}$$

其中，$\frac{\partial L_t}{\partial o_t}$ 可以根据损失函数的形式以及 $L_t,o_t，y_t$ 的值进行计算，$\frac{\partial o_t}{\partial V}$ 可以根据激活函数 $g$ 的形式以及 $o_t,s_t,V$的值进行计算。

对于参数 $W,U$，$s_t$ 是 $W,U$ 的函数，$s_t=f(W{s}_{t-1}+U{x}_t)$。但是RNN所有隐层共享参数，在这个函数中，$s_{t-1}$ 也是 $W,U$ 的函数。

对于参数 $W$ （$U$ 同理） :
∂ L ∂ W = ∑ t = 1 T ∂ L t ∂ W = ∑ t = 1 T ∂ L t ∂ o t ∂ o t ∂ s t ∂ s t ∂ W \frac{\partial L}{\partial W} = \sum_{t=1}^{T} \frac{\partial L_t}{\partial W} = \sum_{t=1}^{T} \frac{\partial L_t}{\partial o_t} \frac{\partial o_t}{\partial s_t} \frac{\partial s_t}{\partial W}