简单谈谈神经网络中的梯度消失、爆炸原因及解决办法

最新推荐文章于 2024-04-25 21:40:58 发布
最新推荐文章于 2024-04-25 21:40:58 发布
阅读量686 收藏
点赞数
分类专栏： 葫芦爷救娃娃 文章标签： 神经网络 人工智能 深度学习 机器学习 tensorflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HowardEmily/article/details/106027465
版权
葫芦爷救娃娃 专栏收录该内容
44 篇文章 94 订阅 ¥59.90 ¥99.00
订阅专栏
本文探讨了神经网络中的梯度消失和梯度爆炸问题，从深层网络和激活函数的角度分析原因，并提出了包括预训练+微调、正则化、选择ReLU系列激活函数以及使用BatchNorm和残差网络在内的解决方案。通过理解这些问题，可以更好地优化深度学习模型的训练过程。
摘要由CSDN通过智能技术生成

为什么要使用梯度更新规则？

我们先来简单说一下梯度小时的根源–深度神经网络和反向传播。目前深度学习方法中，深度神经网络的发展造就了我们可以构建更深层的网络完成更复杂的任务，深层网络比如深度卷积网络，LSTM等等，而且最终结果表明，在处理复杂任务上，深度网络比浅层的网络具有更好的效果。但是，目前优化神经网络的方法都是基于反向传播的思想，即根据损失函数计算的误差通过梯度反向传播的方式，指导深度网络权值的更新优化。

这样做是有一定原因的，首先，深层网络由许多非线性层堆叠而来,每一层非线性层都可以视为是一个非线性函数 f ( x ) f(x)

了解本专栏 订阅专栏 解锁全文
Marcus-Bao
关注
专栏目录
订阅专栏
神经网络之解决梯度消失或爆炸.pdf
06-05
深度学习和神经网络解决梯度消失或爆炸问题 深度学习在计算机视觉、自然语言处理等领域取得了许多重大突破。神经网络的表达能力通常随着其网络深度呈指数增长，这一特性赋予了它很强的泛化能力。然而深层的网络也...
深度学习中的梯度消失与梯度爆炸及解决方案
bitcarmanlee的博客
02-23 4188
1.梯度消失与梯度爆炸 反向传播算法在神经网络中非常常见，可以说是整个深度学习的基石。在反向传播中，经常会出现梯度消失与梯度爆炸的问题。梯度消失产生的原因一般有两种情况：一是结构较深的网络，二是采用了不太合适的激活函数。而梯度爆炸一般也有两种情况：一是结构较深的网络，二是初始化权重不合适，权重值太大。 从网上找了一张深度网络示例图，简单说明一下梯度消失或者爆炸的问题。 其中σ′(z4)\sigma'(z_4)σ′(z4​)表示激活层的导数，w4w_4w4​是该层的权重。σ′(z4)w4\sigma'(z_
神经网络中怎么解决梯度消失问题
daotian
07-14 8704
在深度网络中，网络参数的学习是通过反向传播的链式求导法则来求 Loss 对某个参数 的偏导数，然后进行参数更新的。因此造成梯度消失的原因主要有两个：1.当网络层 数很深，而当前的参数所在层又靠近网络的输入时，求导链就会非常长；2.如果其中的某些中间结果的值很小，并经过链式的累成作用，最终求得的梯度值就会接近于零，而导致参数得不到更新。 可通过以下方法解决梯度消失的问题： 1. 选用合适的激活函数。比如 ReLU 或者 Leaky ReLU。因为像 Sigmoid 和 Tanh 这样的激活函数，会.
lstm如何解决梯度消失\爆炸
weixin_41640828的博客
04-14 5781
RNN梯度消失的原因是，随着梯度的传导，梯度被近距离梯度主导，模型难以学习到远距离的信息。具体原因也就是∏Tk=t+1∂h(k)∂h(k−1)部分，在迭代过程中，每一步∂h(k)∂h(k−1)始终在[0,1]之间或者始终大于1。 tanh的导数总是小于1 的， 如果Ws也是一个大于0小于1的值， 那么随着t的增大， 上述公式的值越来越趋近于0， 这就导致了梯度消失问题。 那么如果Ws很大， 上述公式会越来越趋向于无穷， 这就产生了梯度爆炸. LSTM遗忘门值可以选择在[0,1]之间，让LSTM来..
深度神经网络中梯度消失的原因及解决
欢迎来到我的酒馆
07-18 3152
我们总听到说梯度消失梯度消失，究竟是什么原因呢。梯度消失 上图是我们的简单3隐层神经网络，我们采取sigmod函数作为每个神经元的激活函数。即，每层输入为： zi=ωioi−1+b1z_i=\omega_io_{i-1}+b_1 输出为： oi=σ(zi)o_i=\sigma(z_i) 则根据求导的链式法则有： ∂C∂b1=∂C∂o4∂o4∂b1=∂C∂o4∂o4∂z4∂z4∂b1=∂C
【菜菜的CV进阶之路-神经网络的深入理解-神经网络存在的问题及解决】梯度消失&梯度爆炸&过拟合&欠拟合&深度神经网络退化问题
智慧地球（AI·Earth）
04-22 7468
之前学的神经网络的原理、奇技淫巧什么的都忘的差不多了，正好这次有任务，顺道把之前的一些没理解透的问题重新理一理： 神经网络现在有很多类型了，每一种类型都是在之前的基础上发现问题并解决问题的过程，目前一些主流的问题虽然都已经得到了很好的解决，但理解为什么要这样修改对模型的选择无疑大有裨益。 一、深度学习中存在的问题： 1、梯度消失&梯度爆炸 梯度消失的根源—–深度神经网络和反向...
深度学习（三）————过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶
01-20
梯度消失和梯度爆炸是深度神经网络（DNN）中遇到的另外两个问题。梯度消失指的是在反向传播过程中，梯度值变得极小，导致深层神经元的权重更新缓慢，影响训练效果。这通常发生在使用sigmoid或tanh等饱和型激活函数时...
过拟合欠拟合及其解决方案、梯度消失梯度爆炸、循环神经网络进阶
01-06
一、过拟合欠拟合及其解决方案 我们将探究模型训练中经常出现的两类典型问题： 一类是模型无法得到较低的训练误差，我们将这一现象...当神经网络的层数较多时，模型的数值稳定性容易变差。 假设一个层数为的多层感知
pytorch实现task3——过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶
01-06
过拟合、欠拟合及解决方案在之前自己已经使用较多较熟练，故跳过。 梯度消失、梯度爆炸 深度模型有关数值稳定性的典型问题是消失（vanishing）和爆炸（explosion）。 当神经网络的层数较多时，模型的数值稳定性容易...
＜美团＞深度学习训练中梯度消失的原因有哪些？有哪些解决方法？
09-26 855
梯度消失产生的主要原因有：一是使用了深层网络，二是采用了不合适的损失函数。 （1）目前优化神经网络的方法都是基于BP，即根据损失函数计算的误差通过梯度反向传播的方式，指导深度网络权值的更新优化。其中将误差从末层往前传递的过程需要链式法则（Chain Rule）的帮助。而链式法则是一个连乘的形式，所以当层数越深的时候，梯度将以指数形式传播。梯度消失问题一般随着网络层数的增加会变得越来越明显。在根据损失函数计算的误差通过梯度反向传播的方式对深度网络权值进行更新时，得到的梯度值接近0，也就是梯度消失。 （2）
为什么会出现梯度爆炸和梯度消失现象？怎么缓解这种现象的发生？
Mike_honor的博客
07-23 4874
梯度消失现象在深度神经网络训练过程中表现得尤为突出，随着网络层数的加深，损失在反向传播时梯度在不断减小，导致浅层网络的学习进行不下去，参数得不到有效更新。为什么会出现这种现象呢？下面小编将从神经网络反向传播（BP）原理上揭露出现梯度消失和梯度爆炸现象本质以及如何缓解。.........
为什么GRU和LSTM能够缓解梯度消失或梯度爆炸问题？
xw555666的博客
12-19 3342
GRU和LSTM中的门控设计策略，能够有助于缓解梯度消失或梯度爆炸问题。主要是解决长序列梯度计算中幂指数大小的问题（长序列意味着高阶幂指数计算，容易导致梯度极大或极小），可以通过门控设计来直接减少幂指数大小（直接干掉大阶数，替换为合理数值），从而缓解梯度消失或梯度爆炸问题。4、门控循环单元（GRU）与普通的循环神经网络之间的关键区别是：GRU支持隐状态门控。长短期记忆网络（LSTM）引入记忆元，记忆元的设计目的是用于记录附加的信息。为了控制记忆元，需要许多门，输入门、遗忘门和输出门。
梯度消失和梯度爆炸及解决方法
hollyprince的博客
07-20 1万+
梯度消失和梯度爆炸的原因和解决办法
【神经网络深度学习】--梯度消失and爆炸的原因及解决方案
TU商的博客
10-21 4078
具体来说就是反向传播中，经过每一层的梯度会乘以该层的权重，举个简单例子： 正向传播中f3=f2(wT∗x+b)，那么反向传播中，∂f2∂x=∂f2∂f1w，反向传播式子中有w的存在，所以w的大小影响了梯度的消失和爆炸，batchnorm就是通过对每一层的输出做scale和shift的方法，通过一定的规范化手段，所以产生影响的就是刚刚提的三个因素。所以 |σ′(z)w|≤0.25 ，多个小于1的数连乘之后，那将会越来越小，导致靠近输入层的层的权重的偏导几乎为0，也就是说几乎不更新，这就是梯度消失的根本原因。
深度学习--TensorFlow（4）BP神经网络（损失函数、梯度下降、常用激活函数、梯度消失&&梯度爆炸）
great_yzl的博客
10-09 9005
一、概念与定义 BP神经网络：是一种按照误差逆向传播算法训练的多层前馈神经网络。 BP 算法的基本思想：学习过程由信号的正向传播和误差的反向传播两个过程组成。 正向传播：把样本的特征从输入层进行输入，信号经过各个隐藏层逐层处理后，最后从输出层传出。 反向传播：对于网络的实际输出与期望输出之间的误差，把误差信号从最后一层逐层反传，从而获得各个层的误差学习信号，再根据误差学习信号来修正各个层神经元的权值。 周而复始地进行，权值不断调整的过程，就是神经网学习训练的过程。 ...
什么是神经网络：梯度消失
最新发布
weixin_38232619的博客
04-25 1839
首先讲解一下什么是梯度消失：梯度消失（Gradient Vanishing）是深度神经网络训练过程中常见的问题，特别是在使用基于梯度的优化算法（如反向传播）时。梯度消失指的是在网络的较深层（靠近输入层的层，因为梯度是从输出层往前传，反向传播，所以靠近输入层的层是较深层）中，梯度逐渐变得非常小，甚至接近于零，导致这些层的参数几乎没有更新，从而使得这些层无法有效地学习到数据的特征。
神经网络中的梯度爆炸
吉良的博客
12-28 4652
神经网络中的梯度爆炸 一、什么事梯度爆炸？ “梯度爆炸指神经网络训练过程中大的误差梯度不断累积，导致模型权重出现重大更新。会造成模型不稳定，无法利用训练数据学习” 误差梯度是神经网络训练过程中计算的方向和数量，用于以正确的方向和合适的量更新网络权重。 在深层网络或循环神经网络中，误差梯度可在更新中累积，变成非常大的梯度，然后导致网络权重的大幅更新，并因此使网络变得不稳定。在极端情况下，权重的值变得...
详细推导---神经网络中梯度爆炸，消失，产生的原因
Mr_DaYang的博客
06-24 401
梯度爆炸与消失的推导 以一个3个神经元的网络为例，优化参数w1 综上所述原因如下： 梯度消失一般出现深层网络中采用了不合适的损失函数。 梯度爆炸一般出现在深层网络和权值初始化值太大的情况下。 解决方案 （1）预训练加微调 （2）梯度剪切、正则 （3）ReLU、LeakyReLU、ELU等激活函数 （4）BatchNormalization （5）残差结构 （6）LSTM 本文重点解释问题产生的原因，解决方案可参考 文章1 ...
机器学习：神经网络中的梯度消失和梯度爆炸
热门推荐
JacksonKim的博客
05-11 1万+
一、什么是梯度消失和梯度爆炸 1. 梯度消失(gradient vanishing problem) 我们知道神经网络在进行反向传播(BP)的时候会对参数W进行更新，梯度消失就是靠后面网络层(如layer3)能够正常的得到一个合理的偏导数，但是靠近输入层的网络层，计算的到的偏导数近乎零，W几乎无法得到更新。 2. 梯度爆炸(gradient exploding problem) 梯度爆炸的意思是，靠近输入层的网络层，计算的到的偏导数极其大，更新后W变成一个很大的数(爆炸)。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Marcus-Bao

万水千山总是情,只给五角行不行

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值