梯度消失或者梯度爆炸

为什么会出现梯度消失或者梯度爆炸？

在bp的链式求导过程中，连乘第二部分是sigmoid的导数，bp的推导过程.note

对于sigmoid函数：

其导数为：通过简单求导变换就可以得到，范围在0-0.25

 

对于多层的神经网络，连乘中还包含w权值，

如果bp过程中sigmoid的导数最大也就0.25，而且通常初始化参数一般小于1，所以其中的

就会小于1，当网络很深时，多个小于1的数相乘最终导致梯度消失

同样当初始化的权重w使得上式大于1的时候，多个大于1的数相乘就会产生梯度爆炸

 

如何解决梯度消失或者梯度爆炸？

1.使用RELU，leaky RELU， ELU等激活函数

2.使用BatchNormalization--BatchNormalization的原理.note

3.正则化--正则化.note

4.resnet残差结构 --ResNet理解.note

5.LSTM--LSTM结构理解.note

6.预训练+微调：对每一层单独调优，最后放一起微调

7.梯度剪切