梯度消失与梯度爆炸（多图）

梯度消失与梯度爆炸

1.梯度的概念

 

2.梯度消失与梯度爆炸的现象：

如果权重很小，一直相乘，就会变得很小。反之就会变得很大。

危害？

均会导致无法更新。

 

3.产生原因

梯度消失的原因：

（1）神经网络

（2）初始化权值过小

（3）激活函数sigmoid（Relu）

梯度爆炸的原因：

（1）神经网络

（2）初始化权重过大

 

4.如何解决？

（1）预训练+微调

（2）梯度剪切、正则

（3）Relu、Leakey-Relu、elu等激活函数

Relu数据为负数的情况下也会出现梯度消失。

leakRelu：

elu：

（4）LSTM：