深度理解RNN的梯度消失和LSTM为什么能解决梯度消失

已于 2022-05-27 16:17:26 修改
阅读量1.4k 收藏 20
点赞数 2
分类专栏： nlp 文章标签： rnn lstm 深度学习
于 2022-05-25 23:20:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ZhaoLinke1998/article/details/124975648
版权
本文深入探讨RNN的梯度消失现象，指出其主要表现为远距离梯度消失，而LSTM通过门控机制有效解决了这一问题，确保信息在长序列中的传递，避免梯度消失。
摘要由CSDN通过智能技术生成

一、RNN的梯度消失有什么不同之处

 

先说结论：RNN的梯度等于近距离梯度与远距离梯度的和，RNN的梯度消失是远距离梯度的消失，而近距离梯度不会消失，同时总的梯度不会消失，从而导致总的梯度由近距离梯度占主导。

提到梯度消失，你肯定会说是因为网络层次太深，导致导数连乘项太多，所以梯度很小。这种回答适用于深度神经网络，但不适用于RNN。

因为RNN的梯度是一个和！！而且RNN的是共享一套参数的！

但我们在理解RNN的时候，经常喜欢把RNN按时间序列展开，可能会误解RNN是多套参数的，但其实是共用一套参数。

假设时间序列为3，将RNN展开就如上图所示，每一个时刻的隐状态和输出分别如下式：

假设我们现在处理的任务只需要用t=3时刻的输出去训练模型：

lloss = \frac{1}{2}(Y3-O3)^{2}

对Wx，Ws，Wo求偏导：

最低0.47元/天 解锁文章
前行_的路上
关注
专栏目录
LSTM：解决梯度消失问题
AI天才研究院
08-10 663
1.背景介绍 在深度学习领域，循环神经网络（RNN）是一种处理序列数据的强大工具。然而，RNN在处理长序列时面临着梯度消失的问题。为了解决这个问题，Hochreiter和Schmidhuber于1997年提出了长短期记忆（LSTM）网络。本文将深入探讨LSTM如何解决梯度消失问题。 2.核心概念与联系
LSTM如何解决RNN带来的梯度消失问题
谓之小一
04-25 2983
本篇文章参考于 RNN梯度消失和爆炸的原因、Towser关于LSTM如何来避免梯度弥散和梯度爆炸？的问题解答、Why LSTMs Stop Your Gradients From Vanishing: A View from the Backwards Pass。 看本篇文章之前，建议自行学习RNN和LSTM的前向和反向传播过程，学习教程可参考刘建平老师博客循环神经网络(RNN)模型与前向反向传...
RNN梯度消失和爆炸及LSTM解决原理的知乎回答
William Zhao's notes
04-28 9652
https://zhuanlan.zhihu.com/p/28687529
RNN和LSTM的几个问题探讨
Andy_shenzl的博客
03-13 1173
每次提到RNN最先遇到的问题肯定是梯度消失和梯度爆炸，那么什么是梯度消失和梯度爆炸？RNN中为什么会出现这个问题呢？梯度消失和梯度爆炸是深度学习模型，特别是在训练递归神经网络（RNN）和深度前馈神经网络时可能遇到的两个主要问题。这两个问题都源于神经网络中梯度的连乘效应。梯度消失和梯度爆炸是RNN在反向传播过程中常见的问题，RNN的反向传播是通过时间的反向传播”（Backpropagation Through Time，BPTT），其运行流程与一般的反向传播大有不同。在不同类型NLP任务会有不同的输出层结构、
循环神经网络--LSTM模型
最新发布
m0_64592880的博客
09-26 1339
LSTM（Long Short-Term Memory）模型是一种特殊的循环神经网络（RNN），它能够学习和记忆长期依赖关系。LSTM。这些门控机制包括遗忘门、输入门和输出门，它们可以控制信息的流动，从而使得网络能够学习到长期依赖关系。
理解RNN梯度消失和弥散以及LSTM为什么能解决
热门推荐
hx14301009的博客
05-22 2万+
根据RNN的BPTT推导，我们可以得到下面的式子：而又有：因此，每一个Sj对Sj-1的偏导都等于tanh‘(..)*W注意到：tanh的梯度最大只能是1，而更多时候都是趋近于0的饱和状态，当求导得到的jacobian矩阵存在一些元素趋近于0，多个矩阵相乘，会使得梯度很快消失。这时候有人会问，为什么不将tanh换成ReLU呢？这样不就可以解决梯度消失了吗？确实，换成ReLU在一定程度上可以解决梯度消...
lstm之所以可以解决rnn梯度消失的问题的原因
武凯的博客
04-25 1832
RNN RNN：产生梯度消失或者爆炸的原因： 跟随时间序列连续相乘，当w>1时，造成w变化很小，但时间序列后面的y值会变化较大，这样也就是偏导数较大，也就是梯度爆炸了。 当w<1,时，即使w从0.01变化到0.99，时间序列后面的y也不会有多大变化，也就是偏导数很小，也就是梯度消失了。 实质就是因为rnn增加了时间序列，导致连乘更多。 LSTM： 下图所示，从左往右是时间序列，从下往上是lstm的堆叠，从左往右的时间序列相当于cnn中在输入x，x有多个特征，就有多少个神经元，在rnn表现为有
【神经网络】LSTM为什么能缓解梯度消失
Dong_ZH的博客
02-27 8884
总结起来，LSTM能缓解梯度消失，其实主要是以下两点的结果：1.cell状态的加法更新策略使得梯度传递更恰当，使得梯度更新有可能大于1。2.门控单元可以决定遗忘多少梯度，他们可以在不同的时刻取不同的值。这些值都是通过隐层状态和输入的数据学习到的。
RNN结构有什么问题？LSTM解决了RNN什么问题？怎么解决的？
jq_98的博客
10-10 5365
1、减少参数量，使得训练更加容易，减少训练难度2、它有助于将模型应用于不同长度的示例。在读取序列时，如果RNN模型在训练期间的每个步骤使用不同的参数，则不会将其推广到看不见的不同长度的序列。通常，序列会根据整个序列的相同规则进行操作。“星期一下雪了”“星期一在下雪”虽然细节在序列的不同部分中，但这两个句子的含义相同。参数共享反映了我们在每一步都执行相同任务的事实，因此，我们不必在句子的每一点都重新学习规则。为什么LSTM(Long Short-Term Memory)为什么叫长短期记忆网络。
LSTM解决RNN梯度消失与梯度爆炸问题
tianyunzqs的专栏
11-26 2256
​​<> St=δ(WSt−1+UXt)Ot=δ(VSt) S_{t} = \delta(WS_{t-1} + UX_{t}) \\ O_{t} = \delta(VS_{t}) St​=δ(WSt−1​+UXt​)Ot​=δ(VSt​)
记录LSTM公式、梯度消失现象/解决
咕噜咕噜
06-30 771
LSTM记录
LSTM解决RNN梯度消失、爆炸问题~~
YoungDo_02的博客
03-01 3926
转自知乎作者：沉默中的思索 原文链接：https://www.zhihu.com/people/chen-mo-zhong-de-si-suo/activities 先上一张LSTM的经典图： 至于这张图的详细介绍请参考：Understanding LSTM Networks 下面假设你已经阅读过Understanding LSTM Networks这篇文章了，并且了解了LSTM...
为什么RNN会产生梯度爆炸与消失，LSTM为什么可以解决这一问题
qq_34551057的博客
04-12 3201
为什么RNN会产生梯度爆炸与消失，LSTM为什么可以解决这一问题 原文链接–知乎 经典的RNN结构如下图所示： 假设我们的时间序列只有三段， S_{0} 为给定值，神经元没有激活函数，则RNN最简单的前向传播过程如下： 假设在t=3时刻，损失函数为 则对于一次训练任务的损失函数为 ，即每一时刻损失值的累加。 使用随机梯度下降法训练RNN其实就是对 W_{x} 、 W_{...
实习点滴（9）--LSTM是如何解决RNN中的“梯度消失”
龙王Black的博客
08-15 1万+
我们都知道RNN到迭代后期会出现“梯度消失”的问题；         我们也知道LSTM是RNN的变形和改进，它解决了RNN中的“梯度消失”问题；         我们还知道LSTM的各种门（遗忘门、输入门、输出门）。         但是，我们不知道究竟LSTM是如何通过这些门解决“梯度消失”的，反正之前我一直很含糊，现在，我们就一探究竟。
长短期记忆网络（LSTM）：突破RNN梯度消失的困境
2401_85439108的博客
06-19 1127
RNN通过循环连接实现了对序列数据的动态处理能力，但在训练时，随着时间步的增加，梯度在反向传播过程中会不断被乘以权重矩阵。其中，( \sigma ) 是sigmoid激活函数，( W_f ) 和 ( b_f ) 是遗忘门的权重和偏置，( h_{t-1} ) 是上一时间步的隐藏状态，( x_t ) 是当前时间步的输入。本文深入探讨了LSTM如何通过其创新的门控机制解决RNN中的梯度消失问题，并分析了LSTM的设计原理和工作流程。细胞状态是LSTM网络中的信息载体，它携带有关观察到的输入序列的信息。
RNN 与 LSTM 的原理详解
HappyRocking的专栏
11-10 1万+
本文主要讲解了 RNN 和 LSTM 的结构、前馈、反馈的原理，参考了https://www.jianshu.com/p/f3bde26febed/与https://blog.csdn.net/zhaojc1995/article/details/80572098等文章，并纠正了一些公式的错误。 RNN（Recurrent Neural Network）是一类用于处理序列数据的神经网络。 什么...
RNN和LSTM详解
a402498234的博客
03-02 799
循环神经网络（Recurrent Neural Network，RNN）是一种用于处理序列数据的神经网络。相比一般的神经网络来说，他能够处理序列变化的数据。比如某个单词的意思会因为上文提到的内容不同而有不同的含义，RNN就能够很好地解决这类问题。
从RNN到LSTM剖析
A11021103的博客
12-21 3393
从RNN到LSTM剖析   (2017-10-23 09:05:32) 转载▼ 标签：  rnn   lstm   原理   剖析 分类： 机器学习        RNN是循环神经网络，主要处理和时序相关的网络。而LSTM是RNN的进化版本，解决了RNN中存在的梯度爆炸或者梯度消失的问题。       
LSTM理解
weixin_45225032的博客
04-07 1730
要点： 1.LSTM 即 Long Short-Term Memory 长短期记忆网络， 是一种特殊的RNN循环神经网络。 2.LSTM解决了RNN存在的长期依赖问题而专门设计出来的。 RNN的问题在于其中重复神经网络模块的链式形式只有一个非常简单的结构，如一个tanh层。这就使得RNN在以前信息距离现在信息很近的时候，可以利用以前的信息。但当以前的信息距离现在很远的时候，RNN就无法利用信息。 3.LSTM是如何解决远距离信息无法利用的问题的？ 与标准RNN中的重复模块的单层神经网络不同，LSTM
RNN梯度消失 LSTM
09-09
RNN（循环神经网络）存在梯度消失的问题，LSTM（长短期记忆网络）是一种解决这个问题的变体。 在标准的RNN中，梯度消失是指在反向传播过程中，随着时间步的增加，梯度逐渐变得非常小，甚至趋近于零。这是因为RNN的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值