梯度消失与梯度爆炸
1.梯度的概念
2.梯度消失与梯度爆炸的现象:
如果权重很小,一直相乘,就会变得很小。反之就会变得很大。
危害?
均会导致无法更新。
3.产生原因
梯度消失的原因:
(1)神经网络
(2)初始化权值过小
(3)激活函数sigmoid(Relu)
梯度爆炸的原因:
(1)神经网络
(2)初始化权重过大
4.如何解决?
(1)预训练+微调
(2)梯度剪切、正则
(3)Relu、Leakey-Relu、elu等激活函数
Relu数据为负数的情况下也会出现梯度消失。
leakRelu:
elu:
(4)LSTM: