1、梯度消失和梯度爆炸的定义
梯度消失
在神经网络中,当前面隐藏层的学习速率低于后面隐藏层的学习速率,即随着隐藏层数目的增加,分类的准确率反而下降。这种现象称为梯度消失。
梯度爆炸
在神经网络中,当前面隐藏层的学习速率高于后面隐藏层的学习速率,即随着隐藏层数目的增加,分类的准确率反而下降。这种现象称为梯度消失。
梯度消失和梯度爆炸是一样的,但是产生的原因不一样。
!!!梯度消失和梯度爆炸属于梯度不稳定的范畴。
2.梯度消失和梯度爆炸的产生原因
梯度消失
- [1] 隐藏层的层数过多
- [2] 采用了不合适的激活函数
梯度爆炸
- [1] 隐藏层的层数过多
- [2] 权重的初始化值过大
梯度消失和梯度爆炸的解决方法
梯度消失和梯度爆炸都是因为网络太深,网络权值更新不稳定造成的,本质上是因为梯度反向传播中的连乘效应。
- [1] 用其他激活函数代替原来的激活函数
- [2] batch normalization
- [3]预训练加微调
- [4]梯度剪切、权重正则(针对梯度爆炸)
- [5]使用残差结构
- [6]使用LSTM网络