LSTM解决梯度消失问题

最新推荐文章于 2022-06-30 12:04:23 发布
最新推荐文章于 2022-06-30 12:04:23 发布
阅读量730 收藏 3
点赞数
分类专栏： 机器学习 深度学习（pytorch+tensorflow） 文章标签： 神经网络 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27166635/article/details/120043438
版权

为什么rnn循环神经网络会有梯度消失的情况，而lstm可以避免这种情况的发生？

  • 使用梯度下降的方式来更新，如果有很多个这样的数相乘的话，就会使得梯度趋近于0。

  • 梯度消失导致的问题其实是权重w几乎不更新，这样就很难找到一个合适的权重w,去映射输入值与输出值之间的关系。 - LSTM中神经元之间的连接不仅仅有h, 还有信息C, h在神经元之间的传递会经过sigmoid函数处理，但是C不会。所以与C相关的权重W的更新不会因为神经元链过长而产生梯度消失的现象（指的是，遗忘门，信息增益门的权重w）。但是输出门的权重w，是可能会出现梯度消失的。所以可以说是高速通道C,掩盖了通道h的梯度消失的现象，所以从整体上看是没有梯度消失现象的。在这里插入图片描述
    LSTM结构分析

  • LSTM的第一步是决定我们要从细胞状态C中丢弃什么信息。 在这里插入图片描述

  • 下一步是决定我们要在细胞状态中存储什么信息。在这里插入图片描述

  • 将上一个状态值乘以ft，以此表达期待忘记的部分。之后我们将得到的值加上 it∗C̃ t。这个得到的是新的候选值， 按照我们决定更新每个状态值的多少来衡量.
    在这里插入图片描述

  • 输出门
    在这里插入图片描述

交叉熵函数是什么？在什么地方用过？

厄运鹰人
关注
专栏目录
LSTM：解决梯度消失问题
AI天才研究院
08-10 511
1.背景介绍 在深度学习领域，循环神经网络（RNN）是一种处理序列数据的强大工具。然而，RNN在处理长序列时面临着梯度消失的问题。为了解决这个问题，Hochreiter和Schmidhuber于1997年提出了长短期记忆（LSTM）网络。本文将深入探讨LSTM如何解决梯度消失问题。 2.核心概念与联系
【神经网络】LSTM为什么能缓解梯度消失
Dong_ZH的博客
02-27 8774
总结起来，LSTM能缓解梯度消失，其实主要是以下两点的结果：1.cell状态的加法更新策略使得梯度传递更恰当，使得梯度更新有可能大于1。2.门控单元可以决定遗忘多少梯度，他们可以在不同的时刻取不同的值。这些值都是通过隐层状态和输入的数据学习到的。
记录LSTM公式、梯度消失现象/解决
咕噜咕噜
06-30 740
LSTM记录
LSTM如何解决梯度消失或爆炸的？
djph26741的博客
03-05 1407
from:https://zhuanlan.zhihu.com/p/44163528 哪些问题？ 梯度消失会导致我们的神经网络中前面层的网络权重无法得到更新，也就停止了学习。 梯度爆炸会使得学习不稳定， 参数变化太大导致无法获取最优参数。 在深度多层感知机网络中，梯度爆炸会导致网络不稳定，最好的结果是无法从训练数据中学习，最坏的结果是由于权重值为NaN而无法更新权重。 在循...
LSTM为什么可以缓解梯度消失
guohui_0907的博客
08-23 7184
1 LSTM问什么可以缓解梯度消失        首先要明确的一点是，LSTM并不能完全解决梯度消失的问题，仅仅只是缓解。        原始的LSTM是没有遗忘门的，所以CtC_tCt​的更新如下： Ct=Ct−1+it∗C^tC_t=C_{t-1}+i_t...
LSTM及其变种及其克服梯度消失
weixin_30839881的博客
06-29 377
本宝宝又转了一篇博文，但是真的很好懂啊： 写在前面：知乎上关于lstm能够解决梯度消失的问题的原因： 上面说到，LSTM 是为了解决 RNN 的 Gradient Vanish 的问题所提出的。关于 RNN 为什么会出现 Gradient Vanish，上面已经介绍的比较清楚了，本质原因就是因为矩阵高次幂导致的。下面简要解释一下为什么 LSTM 能有效避免 Gradient ...
LSTM与梯度消失
weixin_42421001的博客
08-14 4673
1. 标准RNN中处理序列数据的方法是将上一个state的信息传到下一个state中，表示成数学公式为st=f(W*(st-1，xt)+b),其中f为激活函数。在反向传播中，根据求导的链式法则，这种形式求得的梯度为一个矩阵W与激活函数导数的乘积。如果进行n次反向传播，梯度变化将会变为（W*f”）的n次方累乘。 （1）如果乘积大于1，则梯度会随着反向传播层数n的增加而成指数增长，导致梯度爆炸； ...
深度理解RNN的梯度消失和LSTM为什么能解决梯度消失
ZhaoLinke1998的博客
05-25 1432
一、RNN的梯度消失有什么不同之处 先说结论：RNN的梯度等于近距离梯度与远距离梯度的和，RNN的梯度消失是远距离梯度的消失，而近距离梯度不会消失，同时总的梯度不会消失，从而导致总的梯度由近距离梯度占主导。 提到梯度消失，你肯定会说是因为网络层次太深，导致导数连乘项太多，所以梯度很小。这种回答适用于深度神经网络，但不适用于RNN。 因为RNN的梯度是一个和！！而且RNN的是共享一套参数的！ 但我们在理解RNN的时候，经常喜欢把RNN按时间序列展开，可能会误解RNN是多套参数的，但其实是共用一套参数。
LSTM如何解决RNN带来的梯度消失问题
谓之小一
04-25 2923
本篇文章参考于 RNN梯度消失和爆炸的原因、Towser关于LSTM如何来避免梯度弥散和梯度爆炸？的问题解答、Why LSTMs Stop Your Gradients From Vanishing: A View from the Backwards Pass。 看本篇文章之前，建议自行学习RNN和LSTM的前向和反向传播过程，学习教程可参考刘建平老师博客循环神经网络(RNN)模型与前向反向传...
LSTM缓解梯度消失的原因
Elaine_DWL的博客
07-27 1094
LSTM缓解梯度消失的原因 本文主要是对LSTM缓解梯度消失的原因，从公式上进行推导理解。 对于LSTM的结构如下： ct=ct−1⊗σ(Wf⋅[Ht−1,Xt])⊕tanh⁡(Wc⋅[Ht−1,Xt])⊗σ(Wi⋅[Ht−1,Xt])c_{t}=c_{t-1} \otimes \sigma\left(W_{f} \cdot\left[H_{t-1}, X_{t}\right]\right) \...
LSTM如何解决梯度消失问题
weixin_45866907的博客
04-27 195
LSTM如何解决梯度消失问题
lstm如何解决梯度消失\爆炸
weixin_41640828的博客
04-14 5801
RNN梯度消失的原因是，随着梯度的传导，梯度被近距离梯度主导，模型难以学习到远距离的信息。具体原因也就是∏Tk=t+1∂h(k)∂h(k−1)部分，在迭代过程中，每一步∂h(k)∂h(k−1)始终在[0,1]之间或者始终大于1。 tanh的导数总是小于1 的， 如果Ws也是一个大于0小于1的值， 那么随着t的增大， 上述公式的值越来越趋近于0， 这就导致了梯度消失问题。 那么如果Ws很大， 上述公式会越来越趋向于无穷， 这就产生了梯度爆炸. LSTM遗忘门值可以选择在[0,1]之间，让LSTM来..
BPTT算法推导以及LSTM是如何解决梯度消失的
Machine Learning with Tutors
05-11 1118
在博客里看见的一个非常有用的推导过程，自己记录一下之后复习用： 下面贴一下笔记：
为什么LSTM可以缓解梯度消失？
热门推荐
对算法理论、算法工程落地、大数据工具等感兴趣
03-11 1万+
参考资料： Why LSTMs Stop Your Gradients From Vanishing: A View from the Backwards Pass RNN 前言   早些时候写了一篇关于RNN/LSTM的博客，介绍了RNN、LSTM的基本原理，其中提到了RNN梯度消失的问题，借机引出了LSTM。当时的文章中只写到了LSTM可以缓解梯度消失，但没有写明原因，原因是当时太想当然了，没有仔细思考这个问题。由于那篇博文的阅读量很多，本着负责的态度，现在重新把这个问题翻出来好好解释一下。   本文
梯度爆炸，梯度消失，LSTM解决梯度消失
超喜欢榴莲呀的博客
06-17 289
这篇文章对梯度爆炸和梯度消失的解释很好。 关于LSTM解决梯度消失问题，参考这篇文章，对于这其中的一些图，可以参考这篇文章。 这里对LSTM的图做一下标注：
LSTM为什么能够解决梯度消失以及LSTM调参
永远飞翔的鸟
08-20 4050
0、开始训练之前先要做些什么？ 在开始调参之前，需要确定方向，所谓方向就是确定了之后，在调参过程中不再更改 1、根据任务需求，结合数据，确定网络结构。 例如对于RNN而言，你的数据是变长还是非变长；输入输出对应关系是many2one还是many2many等等，更多结构参考如下 非RNN的普通过程，从固定尺寸的输入到固定尺寸的输出（比如图像分类） 输出是序列（例如图像标注：输入是一张图...
自然语言处理 - 梯度消失和RNN变种 (LSTM, GRU, 双向RNN, 多层RNN)
weixin_41332009的博客
02-26 732
本文翻译和精简自 Stanford cs224n lec 07. 1. 梯度消失和梯度爆炸 1.1 梯度消失 1.1.1 梯度消失的产生原因 以最简单的网络结构为例，假如有三个隐藏层，每层的神经元个数都是1，且对应的非线性函数为 yi=σ(zi)=σ(wixi+bi)y_i=\sigma (z_i) = \sigma(w_ix_i+b_i)yi​=σ(zi​)=σ(wi​xi​+bi​), 如下图： ​​ 引起梯度消失的“罪魁祸首”其实就是激活函数sigmoid: σ(x)=11+e−x\sigma(x)=
什么是LSTM？LSTM如何解决梯度消失问题
最新发布
11-29
LSTM是一种长短期记忆网络，是一种特殊的RNN。LSTM通过门机制解决了梯度消失问题。...在更新参数时，LSTM使用了一种特殊的反向传播算法，称为BPTT（Backpropagation Through Time），它可以有效地解决梯度消失问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值