第七周【任务1】RNN长期依赖问题

RNN经过许多阶段传播后的梯度倾向于消失(大部分情况)或爆炸(很少，但对优化过程影响很大)。【比如说对于$t=1,2$时刻的输入向量的梯度$\frac{\partial J}{\partial x_2}=\frac{\partial J}{\partial h_2}{U}^T$，可以被$t=4$的$h_4$有效影响。但是对于$t=99,100$的$h_{99},h_{100}$,可能就无法有效影响了。因为$h_1$依赖$S_1$， $S_1$依赖$h_2$，一直递归下去。】

梯度消失或者爆炸

梯度爆炸：在深层的神经网络中，由于多个权重矩阵的相乘，会 出现很多如图所示的陡峭区域，当然也有可能会出现 很多非常平坦的区域。在这些陡峭的地方，Loss函数 的导数非常大，导致最终的梯度也很大，对参数进行更新后可能会导致参数的取值超出有效的取值范围，

梯度消失：而在那些非常平坦的地方，Loss的变化很小，这个时候梯度的值也会很小(可能趋近于0)，导致参数的更新非常缓慢，甚至更新的方向都不明确。

回到上一篇博客中，我们定义一个简化的循环神经网络，该网络中的所有激活函数均为线性的，除了在每个时间步上共享的参数W以外，其它的权重矩阵均设为1，偏置项均设为0。我们又假设输入的序列中除了$x_0=1$， 其他输入的值为0， 如下图

那么，我们从前向传播的角度看，RNN的输出是关于权重矩阵$W$的指数函数
$$\begin{array}{l}{h}_0=1\\ h_1=W\\ h_2=W^2\\ ⋮\\ h_t=W^t\end{array}$$
当W的值大于1时，随着$t$的增加，神经网络最终输出的值也成指数级增长，而当W的值小于1时，随着$t$的值增加，神经网络最终的输出则会非常小。这两种结果分别是导致梯度爆炸和梯度消失的根本原因。从例子可以看到，循环神经网络中梯度消失和梯度爆炸问题产生的根本原因，是由于参数共享导致的。

如果从后向传播的角度看，也会有类似问题
$$\begin{array}{lc}& \frac{\partial J}{\partial S_{t-1}}=\frac{\partial J}{\partial O_{t-1}}{V}^T+\frac{\partial J}{\partial h_t}{W}^T\\ & \frac{\partial J}{\partial h_t}=\frac{\partial J}{\partial S_t}\frac{d{S}_t}{d{h}_t}\\ \Rightarrow & \frac{\partial J}{\partial S_{t-1}}=\frac{\partial J}{\partial O_{t-1}}{V}^T+\frac{\partial J}{\partial S_t}\frac{d{S}_t}{d{h}_t}{W}^T\approx f(t)\frac{\partial J}{\partial S_t}\end{array}$$
因此对于$t$时刻的前$k$时刻
$$\frac{\partial J}{\partial S_{t-k}}=f_1(t)f_2(t)\cdots f_k(t)\frac{\partial J}{\partial S_t}$$
这里如果忽略$\frac{d{S}_t}{d{h}_t}$, 那么自然又有与前向传播时类似的问题，$f_1{f}_2\cdots f_k$与W的k次方相关， $f_1(t)f_2(t)\cdots f_k(t)\propto (W^T{)}^k$, 因此会出现梯度消失或者梯度爆炸。比如假设$W$的值远小于1， 显然随着$t,k$的值增加，$\frac{\partial J}{\partial S_{t-k}}$会越来越小接近于0。

这里我们可以采用一种简单的方式解决，也就是在反向传播的过程中， 每隔k时间段就清除下一时刻传来的梯度。比如说，设定k=20, 在$t-20$时刻，梯度$\frac{\partial J}{\partial S_{t-k}}$重新等于0， 那么$\frac{\partial J}{\partial S_{t-20}}=\frac{\partial J}{\partial O_{t-20}}{V}^T+\frac{\partial J}{\partial h_{t-19}}{W}^T=\frac{\partial J}{\partial O_{t-20}}{V}^T$, 也就是只保留第一项。

另一个方法就是就是采用gradient clip。比如只允许[-100, 100]范围内的梯度，如果梯度值变成了500， 就强制变为100。这样也能减缓这个问题。