解析深度学习中的梯度消失

最新推荐文章于 2024-07-11 01:00:00 发布
最新推荐文章于 2024-07-11 01:00:00 发布
阅读量568 收藏 1
点赞数
分类专栏： 深度学习 文章标签： 梯度消失
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ZT0518/article/details/86546825
版权
本文详细解析了全连接网络中导致梯度消失的原因，从权值更新公式、损失函数定义到反向传播的计算过程，逐步阐述了梯度消失的现象，并指出在网络结构不变的情况下，梯度消失问题会随着隐藏层数量增加而加剧。
摘要由CSDN通过智能技术生成

前言：各位读者好，如果有看不懂的地方请留言，我会根据留言修正文章^_^

前提：以全连接网络为例进行解析，该全连接网络包含一个输入层，一个隐藏层，一个输出层，activation function为sigmoid函数。默认读者已经了解全连接网络的前向传播规则。

网络结构如图。

一、定义权值更新公式

权值更新公式定义为

                                                                             \omega_{ji}\leftarrow \omega _{ji}-\eta \frac{\partial Ed}{\partial\omega_{ji}}

其中Ed表示loss function，\omega_{ji}表示的是数值从节点i向节点j传递的那条线上的权重（记住这个下标命名规则，下文都是按照这个规则来命名下标的）。

在这里先放出推导完毕的权值更新公式

                                                                          \omega _{ji}\leftarrow \omega _{ji}+\eta \delta _{j}x_{ji}（①）

对于输出层节点i

                                                                      \delta _{i}=[y_{i}(1-y_{i})](t_{i}-y_{i}) （②）

对于隐藏层节点i

                                                                   \delta _{i}=[a_{i}(1-a_{i})]\sum_{k\in Downstream(i)}\omega _{ki}\delta _{k}（③）

留意[]中的公式，这是sigmoid函数的导数，如果采用的activation function是ReLu函数

最低0.47元/天 解锁文章
ZT0518
关注
专栏目录
深度学习中的梯度消失问题——从数学原理谈起
程序员光剑
09-21 1119
深度学习(Deep Learning)在图像识别、视频分析等领域取得了极大的成功，也被认为是人工智能领域的里程碑事件。近年来，随着深度学习技术的不断进步，越来越多的研究人员开始关注深度学习的一些基础性问题，例如梯度消失、网络爆炸等。梯度消失是一个经典的问题，其原因是深度神经网络的反向传播算法导致了梯度被限制住或变小。当深度神经网络层次较深时，前面的某些层的参数变化会影响后面层的参数更新，而由于前面的层参数权值太小，梯度变化就变得很小，最后结果模型可能无法正确训练。
什么叫梯度消失？
weixin_40551464的博客
01-08 2260
它指的是在网络的反向传播过程中，用于更新网络权重的梯度变得非常小，以至于几乎不对权重产生任何显著的更新。使用残差连接（Residual Connections）：例如，在ResNet架构中使用的残差连接允许一部分梯度直接流过网络，从而减少梯度消失的影响。使用ReLU激活函数：ReLU（Rectified Linear Unit）函数在正数区间的导数是常数，这有助于缓解梯度消失的问题。不恰当的激活函数：例如，Sigmoid和Tanh激活函数在输入值很大或很小的时候导数接近于零，这会使梯度变得非常小。
RNN中梯度消失和爆炸的问题公式推导
城南花开的专栏
11-08 2748
RNN 首先来看一下经典的RRN的结构图，这里 xxx 是输入 WWW 是权重矩阵 (RNN的权重矩阵是共享的所以都是W) hhh 是隐藏状态 yyy是输出 RNN简单公式定义 ht=W∗f(ht−1)+W(hx)∗x[t] h_t = W*f(h_{t-1}) + W^{(hx)}*x_{[t]} ht​=W∗f(ht−1​)+W(hx)∗x[t]​ yt=W(S)∗f(ht) y_{t} =...
一起来了解深度学习中的“梯度”
最新发布
一起来研究langchain和langchain-chatchat
07-11 1349
在深度学习的相关文章中一直提到两个词——梯度和梯度下降。在网上搜索这些词汇时，初学者常常会看到一堆公式和各种复杂的定义，可能会让人打退堂鼓。然而，理解梯度的概念对于掌握深度学习至关重要。今天，我们将用一个通俗易懂的比喻来解释深度学习中的梯度。通过这种方式，希望能帮助大家更轻松地理解这个重要概念，从而更加自信地迈向深度学习的世界。在深度学习中，梯度可以看作是一个指引我们如何调整模型参数（如权重和偏置）以最小化误差的指南针。梯度告诉我们，在当前参数值的情况下，误差朝哪个方向增大或减小，以及应该调整参数多少。
深度学习中的梯度消失、梯度爆炸问题
Toby的博客
08-07 1903
写在前面： 有些博主对这个问题的解释很好，这里也做了参考： 详解机器学习中的梯度消失、爆炸原因及其解决方法 1、什么是梯度消失、梯度爆炸 2、为什么会发生梯度消失、梯度爆炸 3、梯度消失、梯度爆炸在深度学习、机器学习模型训练中的表现形式 4、在模型中快速定位梯度消失、梯度爆炸问题 5、梯度消失、梯度爆炸问题的解决方法 6、总结 ...
深度学习里面的梯度消失和梯度爆炸现象
slamer111的博客
09-08 596
梯度消失和梯度爆炸
深度学习之梯度消失
weixin_49146002的博客
07-10 282
在深度学习中，梯度消失是指在反向传播过程中，随着网络层数增加或者在使用特定类型的激活函数（如sigmoid函数）时，梯度逐渐变小并最终趋近于零的现象。这种现象导致在更新参数时，底层网络的权重几乎不会得到有效的更新，从而使得网络在学习过程中变得非常缓慢甚至停滞不前。
深度学习剖根问题：梯度消失/爆炸
BigCowPeking
04-10 1417
一、梯度消失/梯度爆炸的问题首先来说说梯度消失问题产生的原因吧，虽然是已经被各大牛说烂的东西。不如先看一个简单的网络结构， 可以看到，如果输出层的值仅是输入层的值与权值矩阵W的线性组合，那么最终网络最终的输出会变成输入数据的线性组合。这样很明显没有办法模拟出非线性的情况。记得神经网络是可以拟合任意函数的。好了，既然需要非线性函数，那干脆加上非线性变换就好了。一般会使用sigmoid函数，得到，这个...
＜美团＞深度学习训练中梯度消失的原因有哪些？有哪些解决方法？
09-26 851
梯度消失产生的主要原因有：一是使用了深层网络，二是采用了不合适的损失函数。 （1）目前优化神经网络的方法都是基于BP，即根据损失函数计算的误差通过梯度反向传播的方式，指导深度网络权值的更新优化。其中将误差从末层往前传递的过程需要链式法则（Chain Rule）的帮助。而链式法则是一个连乘的形式，所以当层数越深的时候，梯度将以指数形式传播。梯度消失问题一般随着网络层数的增加会变得越来越明显。在根据损失函数计算的误差通过梯度反向传播的方式对深度网络权值进行更新时，得到的梯度值接近0，也就是梯度消失。 （2）
深度学习中的梯度消失问题及如何解决在机器翻译中的表现
本文旨在探讨深度学习中的梯度消失问题在机器翻译任务中的表现，并提出解决方案以改善模型性能。通过深入研究梯度消失问题的成因、常见的解决方法以及针对机器翻译任务的具体应用，希望能够为研究人员和从业者提供...
深度学习（三）：梯度计算
12-22
文章目录1 概念2 示例 1 概念   Tensor是autograd包的核心类，若将其属性.requires_grad设置为True，它将开始追踪在其上的所有操作。完成计算后，可以调用 .backward()来完成所有梯度计算。此Tensor的梯度将累计到.grad属性中。若要停止追踪，则方法如下： 调用.detach() with torch.no_grad(): 包裹的代码块将不会被追踪 2 示例 示例1： import torch def my_grad(): x = torch.ones(2, 2, requires_grad=True) print(x) p
解析深度学习 语音识别实践
03-18
深度学习在语音识别领域的应用已经取得了显著的成果，极大地推动了人工智能的发展。...通过阅读“解析深度学习 语音识别实践.pdf”这本书，读者可以深入学习这些知识点，并通过实际案例提升自己的技能。
深度学习中的梯度消失、梯度爆炸问题的原因以及解决方法
随风秀舞（diyoosjtu）
04-10 9918
本文简要介绍梯度消失 (gradient vanishing) 和梯度爆炸 (gradient exploding) 问题，并给出一些可行的解决方法。 神经网络在更新参数的过程中，使用反向传播 (Backpropagation) 算法求得各层网络的梯度，可以看作是神经网络式的链式法则。反向传播过程是导致梯度消失和梯度爆炸问题的主要原因，而且随着网络的深度增加，这些问题越发明显。 深度神经网络在解决...
详解机器学习/深度学习中的梯度消失/梯度爆炸的原因/解决方案
_提拉米苏的博客
12-06 1340
详解机器学习/深度学习中的梯度消失/梯度爆炸的原因/解决方案 本文主要深入介绍深度学习中的梯度消失和梯度爆炸的问题以及解决方案。本文分为三部分，第一部分主要直观的介绍深度学习中为什么使用梯度更新，第二部分主要介绍深度学习中梯度消失及爆炸的原因，第三部分对提出梯度消失及爆炸的解决方案。有基础的同鞋可以跳着阅读。其中，梯度消失爆炸的解决方案主要包括以下几个部分。 预训练加微调 梯度剪切、权重正则（针...
深度学习训练中梯度消失的原因有哪些？有哪些解决方法？
Lavender-csdn的博客
05-09 2458
梯度消失产生的主要原因有：一是使用了深层网络，二是采用了不合适的损失函数。 （1）目前优化神经网络的方法都是基于BP，即根据损失函数计算的误差通过梯度反向传播的方式，指导深度网络权值的更新优化。其中将误差从末层往前传递的过程需要链式法则（Chain Rule）的帮助。而链式法则是一个连乘的形式，所以当层数越深的时候，梯度将以指数形式传播。梯度消失问题一般随着网络层数的增加会变得越来越明显。在根据损失函数计算的误差通过梯度反向传播的方式对深度网络权值进行更新时，得到的梯度值接近0，也就是梯度消失。 （2）
深度学习剖根问底：梯度消失以及爆炸
BigCowPeking
06-25 697
前言本文主要深入介绍深度学习中的梯度消失和梯度爆炸的问题以及解决方案。本文分为三部分，第一部分主要直观的介绍深度学习中为什么使用梯度更新，第二部分主要介绍深度学习中梯度消失及爆炸的原因，第三部分对提出梯度消失及爆炸的解决方案。有基础的同鞋可以跳着阅读。 其中，梯度消失爆炸的解决方案主要包括以下几个部分。- 预训练加微调 - 梯度剪切、权重正则（针对梯度爆炸） - 使用不同的激活函数 - 使用bat...
深度学习之梯度
01-28 3093
深度学习之梯度概念
【神经网络深度学习】--梯度消失and爆炸的原因及解决方案
TU商的博客
10-21 4070
具体来说就是反向传播中，经过每一层的梯度会乘以该层的权重，举个简单例子： 正向传播中f3=f2(wT∗x+b)，那么反向传播中，∂f2∂x=∂f2∂f1w，反向传播式子中有w的存在，所以w的大小影响了梯度的消失和爆炸，batchnorm就是通过对每一层的输出做scale和shift的方法，通过一定的规范化手段，所以产生影响的就是刚刚提的三个因素。所以 |σ′(z)w|≤0.25 ，多个小于1的数连乘之后，那将会越来越小，导致靠近输入层的层的权重的偏导几乎为0，也就是说几乎不更新，这就是梯度消失的根本原因。
深度学习优化：梯度下降算法全面解析
主要涵盖了深度学习中的梯度下降基础知识，包括为何使用梯度下降以及其局限性，同时深入探讨了Momentum、NAG、AdaGrad和Adam等优化算法，通过详细的推导和公式图解来解析这些算法的工作原理。文档摘自李宏毅的《一天...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值