解决梯度裁剪和梯度爆炸的方法及原理

最新推荐文章于 2024-03-03 19:15:33 发布

未来科技工作室

最新推荐文章于 2024-03-03 19:15:33 发布

阅读量596

点赞数

分类专栏：深度学习文章标签：神经网络深度学习 pytorch 机器学习自然语言处理

本文链接：https://blog.csdn.net/qq_33331424/article/details/109783419

版权

深度学习专栏收录该内容

1 篇文章 0 订阅

订阅专栏

1 梯度爆炸和梯度消失产生的原因

前向传播产生loss:

$loss=y-O^{'}$

y为真实标签

反向传播：

$\frac{d_{loss}}{d_{w_{4}}}=\frac{d_{loss}}{d_{O^{'}}}\frac{d_{O^{'}}}{d_{z^{'}}}\frac{d_{z^{'}}}{d_{w_{4}}}$

$\frac{d_{loss}}{d_{w_{1}}}=\frac{d_{loss}}{d_{O^{'}}}\frac{d_{O^{'}}}{d_{z^{'}}}\frac{d_{z^{'}}}{d_{O}}\frac{d_{O}}{d_{Z}}\frac{d_{Z}}{d_{w_{1}}}=\frac{d_{loss}}{d_{O^{'}}}\frac{d_{O^{'}}}{d_{z^{'}}}w_{4}\frac{d_{O}}{d_{Z}}\frac{d_{Z}}{d_{w_{1}}}$

以上述简单网络中为例，梯度爆炸的现象为靠近输入层的权重更新幅度较大，产生的原因为后面层的权重初始化时初始值过大，由于连乘机制导致从后向前传播计算的梯度过大，如上述网络 $w_{1}$ 梯度过大是由于 $w_{4}$ 初始值过大导致。

梯度消失的现象为靠近输入层的权重更新幅度过小，产生的原因为激活函数选取不当，选取的激活函数梯度值过小，由于连乘机制导致从后向前传播计算得到的梯度过小，如上述网络 $w_{1}$ 梯度过小是由于 $\frac{d_{O^{'}}}{d_{z^{'}}}\frac{d_{O}}{d_{Z}}$ 过小导致。

总之，梯度消失和梯度爆炸的本质问题都是由于计算梯度反向传播的连乘机制导致。详细请参考：https://blog.csdn.net/weixin_41171061/article/details/106264239

2 解决梯度爆炸的方法和原理

未来科技工作室

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
解决梯度裁剪和梯度爆炸的方法及原理

1 梯度爆炸和梯度消失产生的原因前向传播产生loss:y为真实标签反向传播：以上述简单网络中为例，梯度爆炸的现象为靠近输入层的权重更新幅度较大，产生的原因为后面层的权重初始化时初始值过大，由于连乘机制导致从后向前传播计算的梯度过大，如上述网络梯度过大是由于初始值过大导致。梯度消失的现象为靠近输入层的权重更新幅度过小，产生的原因为激活函数选取不当，选取的激活函数梯度值过小，由于连乘机制导致从后向前传播计算得到的梯度过小，如上述网络梯度过小是由于过小导致。总之，梯度消失和
复制链接

扫一扫