梯度消失和梯度爆炸_梯度爆炸消失和过拟合问题

摘要：

本文主要讲述深度学习过程中，经常存在的梯度爆炸，梯度消失和过拟合的问题，以及主要的解决方法。

---

1. 梯度爆炸
   1. 什么是梯度爆炸？
   2. 梯度爆炸的影响
   3. 训练阶段出现梯度爆炸时的表现
   4. 如何缓解梯度爆炸
2. 梯度消失
   1. 什么是梯度消失？
   2. 梯度消失的影响
   3. 如何解决梯度消失问题
3. 过拟合
   1. 什么是过拟合？
   2. 如何解决过拟合问题？
4. 参考资料

---

1 梯度爆炸

1.1 什么是梯度爆炸？[1]

在反向传播过程中使用的是链式求导法则，如果每一层偏导数都大于1，那么连乘起来将以指数形式增加，误差梯度不断累积，就会造成梯度爆炸。

1.2 梯度爆炸的影响

梯度爆炸会导致模型权重更新幅度过大，会造成模型不稳定，无法有效学习，还会出现无法再更新的 NaN 权重值。

1.3 训练阶段出现梯度爆炸时的表现

● 模型无法从训练数据中获得更新（如低损失）

● 模型不稳定，更新过程中的损失变化幅度过大

● 训练过程中模型权重变成 NaN