- 博客(8)
- 收藏
- 关注
RSS订阅原创 梯度消失与梯度爆炸
梯度消失问题( vanishing gradient)是在早期的BP网络中比较常见的问题。这种问题的发生会让训练很难进行下去，看到的现象就是训练不再收敛——Loss过早地不再下降,而精确度也过早地不再提高。梯度爆炸则是指梯度在反向传播过程中，由于链式求导法则的累乘效应，某些参数的梯度会变得非常大，导致参数更新过于剧烈，进而使得损失函数出现震荡现象。梯度消失指的是在反向传播过程中，由于链式求导法则的累积效应，随着网络层数的增加，梯度逐渐变小，导致参数更新缓慢甚至停滞，网络无法收敛。
2024-08-31 17:06:08
417
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人