神经网络——梯度消失与梯度爆炸

（1）梯度不稳定问题

什么是梯度不稳定问题：

深度神经网络中的梯度不稳定性，前面层中的梯度或会消失，或会爆炸。

原因：

前面层上的梯度是来自于后面层上梯度的乘乘积。当存在过多的层次时，就出现了内在本质上的不稳定场景，如梯度消失和梯度爆炸。

（2）梯度消失

原因：

1. 深层网络中
2. 采用了不合适的损失函数，比如sigmoid。

（3）梯度爆炸

原因：

一般出现在深层网络和权值初始化太大的情况下。




Relu函数 负半轴也存在的倒数为0，那么也会存在梯度消失的情况。

解决方案