深度学习与神经网络（九）—— RNN梯度爆炸与梯度消失(梯度弥散)

已于 2022-03-18 11:56:18 修改
阅读量1.3k 收藏 3
点赞数 1
文章标签： rnn 深度学习 神经网络
于 2020-05-21 22:43:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hxxjxw/article/details/106269165
版权

RNN训练难题——梯度爆炸与梯度弥散

梯度弥散是接近于0

梯度爆炸式接近于无穷大

RNN的梯度求导公式

梯度信息中有个w^k，所以

梯度爆炸的解决

比如在这个点，可能再往左下走一点点，就会error值(loss值)迅速升高，就产生了梯度爆炸

就你的训练过程可能是0.25，0.24，0.23，然后突然，变成了1.1这样

梯度爆炸的解决其实是很简单的

每次计算的时候，检查一下gradient的值，如果大于了设定的阈值，就用当前梯度的当前梯度的模，让它长度变成1，方向保持不变，然后再乘上阈值threshold，这样就把梯度的最大值限定在了阈值之内

就是削减了它的步长，比如原来是

现在是

因为一步跨的很小，所以在那个点的梯度方向一般和正确的方向接近，而如果是前一张图那样一下跨到顶了，那么他的梯度更新方向就可能与正确的方向大相径庭了

虽然这种方式没有从根本上解决梯度爆炸， 但是是一种很有效的办法

注意，这是对梯度进行了clipping，不是对weight进行clipping，是对w.gradient做clipping

代码

只要backward了之后

w.grad就被更新了，保存了当前点的梯度值

grad都在parameters里

梯度消失

人们到后来发现，CNN等到了一定层数，在堆叠更多的层数，结果反而会不好

这是因为在反向传播的时候，梯度逐步往前传播更新，δk每次都累计一个误差

当到最后的时候δk已经非常小了，接近于0了，因此

会接近于0

这样到后面，第0层，第1层的W就会接近于0

这样就会出现长时间得不到更新的现象

因此网络即使堆叠得再深，也有可能train不好

上图是一个全连接层网络的层数的梯度信息，所以不只是在RNN中，在全连接和CNN中也有某种程度上的反映，只是没有RNN明显 

ResNet的解决办法是加一个shortcut，就是让他最差退化成原始的网络

hxxjxw
关注
理解RNN梯度消失和弥散以及LSTM为什么能解决
hx14301009的博客
05-22 2万+
根据RNN的BPTT推导，我们可以得到下面的式子：而又有：因此，每一个Sj对Sj-1的偏导都等于tanh‘(..)*W注意到：tanh的梯度最大只能是1，而更多时候都是趋近于0的饱和状态，当求导得到的jacobian矩阵存在一些元素趋近于0，多个矩阵相乘，会使得梯度很快消失。这时候有人会问，为什么不将tanh换成ReLU呢？这样不就可以解决梯度消失了吗？确实，换成ReLU在一定程度上可以解决梯度消...
RNN与梯度弥散的一记杂谈
Ezail的博客
02-24 527
今天打算复习一下RNN方面的基础，本篇博客会分三个部分讲：第一部分讲NN中的梯度弥散问题，第二部分讲RNN中的梯度弥散问题，并引出LSTM和GRU，第三部分聊一聊batch normalization和group normalization。 关于第一NN和RNN中的梯度问题（弥散，爆炸），因为涉及到了BP（NN）,BPTT（RNN）的推导，索性直接在纸上手推了，顺便巩固了： 好的，现...
深度学习100问34:什么是梯度爆炸
最新发布
yyq916的博客
08-31 245
就好像第一个小伙伴说“今天天气不错”，传到第二个小伙伴那儿就变成了“今天天气超级无敌棒”，再传到第三个小伙伴那儿可能就成了“今天天气宇宙无敌超级棒到爆”。等传到最后一个小伙伴的时候，信息已经变得完全不可理解，完全失控了。在神经网络里呢，梯度爆炸就跟这个传话游戏有点类似。在反向传播的时候，因为某些原因，那个代表误差信息的梯度变得超级大。这就会让网络的权重更新得特别夸张，就像一个调皮的孩子完全不受控制。这样一来，网络就没办法稳定地学习了，甚至可能让模型的参数变得超级大，大到超出正常范围，最后导致训练失败。
RNN梯度消失和爆炸
一千零一夜的博客
08-16 2万+
原文：链接 也可以参考：解释的也很清晰 建议先看第一个 一，经典的RNN结构如下图所示：   假设我们的时间序列只有三段，  为给定值，神经元没有激活函数，则RNN最简单的前向传播过程如下： 假设在t=3时刻，损失函数为  。 则对于一次训练任务的损失函数为  ，即每一时刻损失值的累加。 使用随机梯度下降法训练RNN其实就是对  、  、  以及  求偏导，并不断调...
rnn梯度弥散 LSTM无梯度弥散
Suan2014的博客
08-02 327
之前看过，现在突然想不起，真的是好记性不如烂笔头，希望大家在看的时候能够拿笔和纸跟着推导一遍，加深理解。 转自：https://zhuanlan.zhihu.com/p/28687529 https://zhuanlan.zhihu.com/p/28749444 1.RNN梯度弥散和爆炸的原因 经典的RNN结构如下图所示： 假设我们的时间序列只有三段， S0S_0S0​为给定值，神经元没有...
RNN的梯度消失和梯度爆炸
weixin_42676396的博客
08-02 2608
梯度消失和梯度爆炸本质是同一种情况。梯度消失经常出现的原因一是使用深层网络；二是采用不合适的损失函数，如Sigmoid。梯度爆炸一般出现的场景一是深层网络；二是权值初始化太大。深层网络由许多非线性层堆叠而来，每一层网络激活后的输出为f~i~(x)，其中i为第i层，x是第i层的输入，即第i-1层的输出，f是激活函数，整个深层网络可视为一个复合的非线性多元函数。...
学习笔记：深度学习（3）——卷积神经网络（CNN）理论篇
热门推荐
Morganfs的博客
04-12 10万+
深度学习笔记——CNN卷积神经网络理论篇。主要包括CNN的概念、基本原理、类型综述。算是比较完善的一篇文章了。
深度学习总结(六)——梯度弥散、爆炸和过拟合
码农王小呆的博客
12-06 9745
一、梯度弥散和爆炸1. 梯度弥散的解释梯度弥散的问题很大程度上是来源于激活函数的“饱和”。因为在后向传播的过程中仍然需要计算激活函数的导数，所以一旦卷积核的输出落入函数的饱和区，它的梯度将变得非常小。 使用反向传播算法传播梯度的时候，随着传播深度的增加，梯度的幅度会急剧减小，会导致浅层神经元的权重更新非常缓慢，不能有效学习。这样一来，深层模型也就变成了前几层相对固定，只能改变最后几层的浅层模型。梯度
梯度消失和梯度爆炸及解决方法
DecafTea的博客
12-17 1203
转载自：G-kdom的知乎文章 https://zhuanlan.zhihu.com/p/72589432 一、为什么会产生梯度消失和梯度爆炸？ 目前优化神经网络的方法都是基于BP，即根据损失函数计算的误差通过梯度反向传播的方式，指导深度网络权值的更新优化。其中将误差从末层往前传递的过程需要链式法则（Chain Rule）的帮助，因此反向传播算法可以说是梯度下降在链式法则中的应用。 而链式法则是一个连乘的形式，所以当层数越深的时候，梯度将以指数形式传播。梯度消失问题和梯度爆炸问题一般随着网络层数的增加会变得
深度学习——知识梳理篇（已入门）
GWENGJING的博客
10-10 936
本文不太适合深度学习初学者，适合于深度学习已入门的朋友来梳理知识的大纲，里面的一些技术我也会在后面的逐一进行讲解，本文将从过拟合这个问题来贯穿整个深度学习。
深度学习最全面试题总结（一）
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
05-04 2万+
导读：本系列深度学习面试题系列总结，资料集合包含机器学习、深度学习等各系列常见问题，可配合下列资料一起学习，内容参考Github及网络资源，仅供个人学习。侵权联系删除！
RNN中的梯度消失与梯度爆炸
Geek
04-11 361
51.RNN训练难题--梯度弥散与梯度爆炸、详解机器学习中的梯度消失、爆炸原因及其解决方法；RNN网络的梯度推导公式（学习笔记，学习整理）
涂作权的博客
03-01 2482
1.51.RNN训练难题–梯度弥散与梯度爆炸 1.51.1.梯度弥散与梯度爆炸 1.51.2.详解机器学习中的梯度消失、爆炸原因及其解决方法 1.51.2.1.前言 1.51.2.2.第一部分：为什么要使用梯度更新规则 1.51.2.3.第二部分：梯度消失、爆炸 1.51.2.3.1.深层网络角度 1.51.2.3.2.激活函数角度 1.51.2.4.第三部分：梯度消失、爆炸的解决方案 1.51.2.4.1.方案1-预训练加微调 1.51.2.4.2.方案2-梯度剪切、正则 1.51.2.4.3.方案3-r
RNN 梯度消失梯度爆炸 变体
aj666aj的博客
03-22 252
20210322总结 Linux系统上pytorch环境的配置 需要GPU的时候，在具备GPU硬件的前提下，首先需要下载GPU相应版本的驱动程序（diver）以及CUDA。CUDA可以理解为GPU相关的API，pytorch能够自动调用这些接口来应用GPU。cat /usr/local/cuda/version.txt可以查看已安装CUDA的版本。 安装torch、torchvision、torchaudio库。这一步在pytorch的官网会提供不同版本相应的命令，主页默认为最新的版本，如果需要旧版本，
RNN、梯度消失与梯度爆炸、LSTM GRU
qq_44920808的博客
11-28 564
RNN（the student opened their______） 其结构与函数表达式： 优势有：可以有任意长度的输入；t步的计算理论上可以共享到后面的每一步；模型是固定的，不会随着输入的增加而增加；每一步使用的是相同的W。 缺点：由于需要反复计算，计算慢；在实际中早的信息很难被后面的步骤所获取（梯度爆炸、梯度消失） 训练步骤： 1.获取一个文本资料库（数据集） 2.通过每一个单词的输入预测出到该单词为止将出现的下一个单词y 3.计算出预测的下一个单词和实际出现的下一个单词的误差（Loss：J），对所
如何解决RNN梯度爆炸和弥散的问题？
CSDN 精品推荐
08-09 364
梯度爆炸问题发生在反向传播时，当在时间步骤上反复应用权重矩阵的导数时，梯度会指数级增长，导致数值过大，从而使网络参数迅速调整，训练不稳定甚至无法收敛。梯度弥散问题与梯度爆炸相反，梯度在反向传播时会指数级减小，导致梯度逐渐变得非常小，使得网络参数无法得到有效更新，难以学习长时序的依赖关系。需要注意的是，不同的方法可以结合使用，具体的选择和调整要根据实际问题和网络结构进行，以获得稳定和高效的训练过程。使用合适的权重初始化方法，如Xavier初始化，可以控制权重的范围，避免梯度爆炸和弥散问题。
15.如何解决RNN梯度爆炸和弥散的问题
程序员养成日记
03-29 639
解决梯度爆炸问题，可以在梯度大于一定阈值的时候，将它截断为一个较小的数。
深度学习中的过拟合、梯度消失与RNN深入理解
梯度消失和梯度爆炸是深度神经网络中常见的问题，尤其是对于循环神经网络(RNN)而言。梯度消失意味着深层网络中反向传播的梯度变得极小，导致深层节点的权重更新缓慢；梯度爆炸则相反，梯度值变得过大，可能导致权重...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值