梯度消失和梯度爆炸

对神经网络的优化过程，采用的是反向传播算法(Back Propagation Algorithm)，其本质又是链式求导法则。
我们举一个简单的例子：下面是每层只有一个神经元的多层网络

在前向传播中，任意一个神经元$j$的输入是$a_{j-1}$，其对应的输出是$a_j=\sigma(a_{j-1}w_j+b_j)$, 其中$z_j=a_{j-1}w_j+b_j$

通过BP算法，求解$\frac{\partial C}{\partial b_1} = \frac{\partial C}{\partial a_4} \cdot \sigma'(z_4) \cdot w_4 \cdot \sigma'(z_3) \cdot w_3 \cdot \sigma'(z_2) \cdot w_2 \cdot \sigma'(z_1)$

可以看到，链式法则会有一系列的乘积，因此会导致梯度消失或梯度爆炸。发生梯度消失时，网络的前几层参数几乎不进行更新，只有后几层参数进行更新，这样和浅层网络没什么区别，深度这个含义不再具有。

无论是梯度消失还是梯度爆炸，都会导致网络内部参数更新不稳定。发生梯度消失时，后几层参数更新 大于 前几层参数更新； 发生梯度爆炸时， 前几层参数更新 大于 后几层参数更新。这都是BP算法本身不足造成的。