梯度消失与梯度爆炸

原文链接：https://www.yuque.com/yahei/hey-yahei/gradient_vanish_explode

在深度学习任务中，随着层数的增加，因为反向传播的链式求导规则，梯度容易出现指数形式地减小或增长，从而导致梯度消失（非常小，训练缓慢）或梯度爆炸（非常大，训练不稳定）现象的发生。
相比CNN，RNN更容易出现梯度消失和梯度爆炸问题，这一点在《梯度消失与梯度爆炸 - 为什么RNN通常不用ReLU？ | Hey~YaHei!》中有一些简单的讨论。

参考：

1. 《Hands-On Machine Learning with Scikit-Learn and TensorFlow(2017)》Chap11
2. 《卷积神经网络——深度学习实践手册(2017.05)》
3. 《详解深度学习中的梯度消失、爆炸原因及其解决方法 | 知乎, DoubleV》

解决梯度消失和爆炸的常用技术（本文只讨论前五项）：

1. 【减少爆炸】合理的随机初始化策略（Xavier Initialization、He Initialization等）
2. 【减少消失】使用非饱和函数作为激活函数（如ReLU）
3. 【减少消失和爆炸】批量归一化（Batch Normalization, BN）
4. 【减少爆炸】梯度裁剪（Gradient Clipping）
5. 【减少消失和爆炸】复用预训练层
6. 【较少爆炸】权重正则化（Weights Regularization）
7. 【减少消失】残差结构
8. 【减少消失】LSTM

随机初始化

参考：《深度学习500问 - Ch03深度学习基础 - 3.8权重偏差初始化》
模型的训练需要对参数进行初始化，然后用反向传播算法和梯度下降法更新参数，如何初始化参数是有讲究的。通常会随机初始化为一些相对比较小的数值，防止参数过大导致梯度爆炸；但也不能太小，否则梯度太小，收敛就太慢。
考虑一些简单的初始化方式，

前向传播：
$$\begin{gathered} a_1^{(2)}=f(W_{11}^{(1)}{x}_1+W_{12}^{(1)}{x}_2+W_{13}^{(1)}{x}_3+b_1^{(1)}) \\ {a}_2^{(2)}=f(W_{21}^{(1)}{x}_1+W_{22}^{(1)}{x}_2+W_{23}^{(1)}{x}_3+b_2^{(1)}) \\ {a}_3^{(2)}=f(W_{31}^{(1)}{x}_1+W_{32}^{(1)}{x}_2+W_{33}^{(1)}{x}_3+b_3^{(1)}) \\ {h}_{W,b}(x)=a_1^{(3)}=f(W_{11}^{(2)}{a}_1^{(2)}+W_{12}^{(2)}{a}_2^{(2)}+W_{13}^{(2)}{a}_3^{(2)}+b_1^{(2)}) \end{gathered}$$

反向传播：
$$\begin{array}{rl}\frac{\partial J(W,b;x,y)}{\partial W_{ij}^{(l)}}& =a_j^{(l)}{\delta }_i^{(l+1)}\\ \frac{\partial J(W,b;x,y)}{\partial b_i^{(l)}}& ={\delta }_i^{(l+1)}\end{array}$$
其中，$${\delta }^{(l)}$$是第$$l$$层的输出误差，
$${\delta }_i^{(l)}=(\sum _{j=1}^{s_{t+1}}{W}_{ji}^{(l)}{\delta }_j^{(l+1)}$$