理论推导RNN梯度消失和梯度爆炸的原因

  RNN的提出是为了解决网络无法利用历史信息的问题，但由于RNN具有梯度消失和梯度爆炸的问题，导致RNN不能存储长期记忆。

网络结构

  首先来看RNN的结构，如下图1所示：

  上图的结构很好理解，$x_t$为网络输入，$A$为隐藏层，$h_t$为网络输出。既然我们想利用之前的历史信息，那我们就将网络在上一时刻的输出保存下来，作为当前时刻的输入，也就是上图中的反馈连接。我们将上图中的RNN结构按时序展开，如下图2所示：

  $x_0$~$x_t$是网络在不同时刻的输入，$h_0$ ~$h_t$是网络在不同时刻的输出，A是隐藏层。需要注意的是，上图中的RNN展开图是RNN按时序的展开图，并不是真正的拓扑结构，对于某一固定的时刻$t$，RNN的结构就是图1；这是很多资料容易让人产生误解的地方。所以，图2中的那么多A其实是同一个隐藏层，这也就是RNN中的“参数共享”。当然，你也可以增加RNN的深度，即增加隐藏层，如下图3所示：

如上图所示，纵向是增加网络深度，横向是增加时间步。

工作原理

  介绍了RNN的网络结构，下面来看RNN的工作过程。我们假设网络只有一个隐藏层，网络输入为$x$,输出为$y$，隐藏层状态为$h$，如下图4所示，

则在时刻$t$有：

$$h_t=f(w_{i}x+w_h{h}_{t-1})$$
$$y_t=f(w_o{h}_t)$$

上式中，$f$为激活函数，一般为$sigmoid$或$tanh$。

梯度消失与梯度爆炸

  了解了RNN的工作原理，下面我们就可以去分析RNN梯度消失和梯度爆炸的原因了。为了简化问题，只考虑三个时间步，如下图5所示：

则有：

$$h_1=f(w_i{x}_1+w_h{h}_0),y_1=f(w_o{h}_1)$$

$$h_2=f(w_i{x}_2+w_h{h}_1),y_2=f(w_o{h}_2)$$

$$h_3=f(w_i{x}_3+w_h{h}_2),y_3=f(w_o{h}_3)$$

RNN的损失函数为

$$L=\sum _{t=0}^T{L}_t=\sum _{t=0}^{T}g(y_t)$$，

$L_t$为$t$时刻输出的损失，$g$为网络的损失函数。根据链式求导法则，求L对各个参数的偏导即为参数更新的梯度。

先只考虑$L_3$求偏导，有：

$$\frac{\partial L_3}{\partial w_o}=\frac{\partial L_3}{\partial y_3}\frac{\partial y_3}{\partial w_o}$$

$$\frac{\partial L_3}{\partial w_i}=\frac{\partial L_3}{\partial y_3}\frac{\partial y_3}{\partial h_3}\frac{\partial h_3}{\partial w_i}+\frac{\partial L_3}{\partial y_3}\frac{\partial y_3}{\partial h_3}\frac{\partial h_3}{\partial h_2}\frac{\partial h_2}{\partial w_i}+\frac{\partial L_3}{\partial y_3}\frac{\partial y_3}{\partial h_3}\frac{\partial h_3}{\partial h_2}\frac{\partial h_2}{\partial h_1}\frac{\partial h_1}{\partial w_i}$$

$$\frac{\partial L_3}{\partial w_h}=\frac{\partial L_3}{\partial y_3}\frac{\partial y_3}{\partial h_3}\frac{\partial h_3}{\partial w_h}+\frac{\partial L_3}{\partial y_3}\frac{\partial y_3}{\partial h_3}\frac{\partial h_3}{\partial h_2}\frac{\partial h_2}{\partial w_h}+\frac{\partial L_3}{\partial y_3}\frac{\partial y_3}{\partial h_3}\frac{\partial h_3}{\partial h_2}\frac{\partial h_2}{\partial h_1}\frac{\partial h_1}{\partial w_h}$$

观察上式，由于$h_t,t\in (0,T)$的存在，使得损失函数对参数求偏导的过程中存在大量的复合求导。再将上述等式推广到所有时间步，则有

$$\frac{\partial L}{\partial w_o}=\sum _{t=0}^T\frac{\partial L_t}{\partial y_t}\frac{\partial y_t}{\partial w_o}$$

$$\frac{\partial L}{\partial w_i}=\sum _{t=0}^T\sum _{j=0}^t\frac{\partial L_t}{\partial y_t}\frac{\partial y_t}{\partial h_t}(\prod _{k=j+1}^t\frac{\partial h_k}{\partial h_{k-1}})\frac{\partial h_j}{\partial w_i}$$

$$\frac{\partial L}{\partial w_h}=\sum _{t=0}^T\sum _{j=0}^t\frac{\partial L_t}{\partial y_t}\frac{\partial y_t}{\partial h_t}(\prod _{k=j+1}^t\frac{\partial h_k}{\partial h_{k-1}})\frac{\partial h_j}{\partial w_h}$$

推导到这里，RNN梯度消失和梯度爆炸的原因就产生了。上述的第二个和第三个等式中出现了与时间$t$相关的连乘的因式，根据第二节中RNN工作原理的介绍，以第二个等式为例，

$$\frac{\partial h_k}{\partial h_{k-1}}=f^{{}^{\prime }}\cdot w_i$$

其中$f^{{}^{\prime }}$为激活函数的导数，以$sigmoid$函数为例，$f\in (0,1)$其导数为$f^{{}^{\prime }}=f(1-f)\in (0,\frac{1}{4})$，则$w_i<1$时，$\frac{\partial h_k}{\partial h_{k-1}}<1$，经过数次相乘后，$\frac{\partial L}{\partial w_i}$逐渐接近于0，即梯度消失；$w_i>4$时，$\frac{\partial h_k}{\partial h_{k-1}}>1$，经过数次相乘后，$\frac{\partial L}{\partial w_i}$越来越大，即梯度爆炸。

  至此，我们就从理论上分析了RNN中存在梯度消失和梯度爆炸的原因。但为了能够使用RNN利用历史信息的特性，对RNN的结构进行适当的改造就能得到性能更加优越的LSTM。LSTM的结构大大缓解了传统RNN中存在的梯度消失和梯度爆炸的问题，从而使时间步能够大大增长。具体的分析请参考下一篇文章。