在深度学习中，梯度消失和梯度爆炸是训练神经网络时常遇到的两大问题。这两个问题会严重影响模型的训练效果和收敛速度。本文将从基础概念入手，逐步深入，详细探讨解决这两个问题的几种方法。
1. 什么是梯度消失和梯度爆炸？
梯度消失和梯度爆炸是指在反向传播过程中，梯度值在多层网络中不断变小或变大的现象。
-
梯度消失：在网络较深时，梯度会在传播过程中逐渐衰减到接近零，导致前层参数几乎无法更新。数学上，如果激活函数的导数小于1，例如sigmoid函数：
σ ( x ) = 1 1 + e − x \sigma(x) = \frac{1}{1 + e^{-x}} σ(x)=1+e−x1
其导数为：
σ ′ ( x ) = σ ( x ) ( 1 − σ ( x ) ) \sigma'(x) = \sigma(x)(1 - \sigma(x)) σ′(x)=σ(x)(1−σ(x))
当输入较大或较小时，导数值接近0，导致梯度消失。
-
梯度爆炸：与梯度消失相反，梯度在传播过程中不断增大，导致参数更新过大，训练过程不稳定。数学上，如果权重初始化较大，则累乘后梯度可能会指数增长：
∂ L ∂ W = ∏ i = 1 n ∂ z i ∂ z i − 1 ⋅ ∂ z 0 ∂ W \frac{\partial L}{\partial W} = \prod_{i=1}^{n} \frac{\partial z_i}{\partial z_{i-1}} \cdot \frac{\partial z_0}{\partial W} ∂W∂L
最低0.47元/天 解锁文章
2963
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
