记录LSTM公式、梯度消失现象/解决

已于 2022-06-30 12:06:02 修改
阅读量714 收藏 2
点赞数
分类专栏： 深度学习基础 文章标签： lstm rnn 深度学习 梯度消失
于 2022-06-30 12:04:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36533552/article/details/125537997
版权

一. LSTM公式：

二. 简单总结：

        1. RNN梯度：

RNN中同样的权重在各个时间步共享，最终的梯度为

各个时间步骤梯度的和。

        2. 梯度消失现象怎么产生？：

RNN的梯度消失是指梯度被近距离梯度所主导，远距离梯度由于连乘导致太小，不能获取远距离的依赖关系。

比如sigmoid函数，导数最大值为1/4（y-y^2）,  tanh 导数最大值为1. (1 - y^2)。

        3. LSTM怎么解决RNN梯度消失问题？：

                主要是通过Ct-1到Ct的优化：

最低0.47元/天 解锁文章
咕噜咕噜day
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
LSTM理解及梯度消失与爆炸
Mark_Australia的博客
12-09 1756
lstm理解
长短期记忆网络（LSTM）是如何解决RNN的梯度消失问题的？
最新发布
2401_85760095的博客
06-19 878
在深度学习领域，循环神经网络（Recurrent Neural Network, RNN）是一种适合于处理序列数据的模型。然而，传统RNN在训练过程中常常遇到梯度消失或梯度爆炸的问题，这限制了其在长序列数据上的应用。长短期记忆网络（Long Short-Term Memory, LSTM）作为一种特殊类型的RNN，成功解决了这些问题。本文将详细探讨LSTM的工作原理及其如何解决梯度消失问题。
深入了解梯度消失与梯度爆炸
qq_43456497的博客
05-12 825
本文探讨深度学习中经常会提到的概念–梯度消失与梯度爆炸。他们是影响模型收敛，学习好坏的一个重要因素，对此现象也提出了对应的解决方案。在此记录其概念，原因和相关的解决方案，仅供参考。
LSTM学习
Blessy_Zhu的博客
09-30 3818
学习LSTM需要通过五大问题来全面的理解：为什么会出现LSTM？LSTM是怎么解决RNN梯度消失的问题的？LSTM的主要内容是什么？LSTM如何代码实现？LSTM现在发展到什么地步（即有哪些变体）？通过这五个问题，了解LSTM的前世今生。
基于LSTM的股票预测模型_python实现_超详细
热门推荐
zxm_的博客
07-05 13万+
文章目录一、背景二、主要技术介绍1、RNN模型2、LSTM模型3、控制门工作原理四、代码实现五、案例分析六、参数设置七、结论 一、背景 近年来，股票预测还处于一个很热门的阶段，因为股票市场的波动十分巨大，随时可能因为一些新的政策或者其他原因，进行大幅度的波动，导致自然人股民很难对股票进行投资盈利。因此本文想利用现有的模型与算法，对股票价格进行预测，从而使自然人股民可以自己对股票进行预测。 理论上，.........
LSTM 详解及 LSTM 解决时间序列预测问题（附代码）
Incalos的博客
04-07 1万+
本文章详细介绍了 LSTM 的基本原理及计算过程，并且提供了基于多层 LSTM 解决时间序列预测问题的项目代码。
梯度消失和梯度爆炸的一些处理方法
weixin_42924890的博客
03-19 931
常见梯度消失和梯度爆炸的处理方法。
基于双向LSTM的影评情感分析算法设计学习记录
pengxiang1998的博客
10-08 1428
RNN一般用来处理序列信息，在文本、语音、视频等具有上下文关联的应用场景中精度很高。其展开结构如图 1 所示。但是RNN会面临梯度消失和梯度爆炸的问题，这将导致长时依赖丢失。为解决这个问题，LSTM网络对RNN进行了改进。LSTM 由遗忘门、输入门和输出门三个控制门组成，如图2所示[2-4]。遗忘门控制上一时刻的单元状态Ct-1有多少保留到当前状态Ct，输入门控制当前时刻的网络输入Xt有多少保存到单元状态Ct，输出门控制单元状态Ct有多少输出到LSTM网络的当前输出ht。
通俗易懂RNN和LSTM
qq_45805398的博客
03-11 1662
RNN（Recurrent Neural Network）是一类用于处理序列数据的神经网络。时间序列数据是指在不同时间点上收集到的数据，这类数据反映了某一事物、现象等随时间的变化状态或程度。这是时间序列数据的定义，当然这里也可以不是时间，比如文字序列，但总归序列数据有一个特点——后面的数据跟前面的数据有关系。RNN是神经网络的一种，类似的还有深度神经网络DNN，卷积神经网络CNN，生成对抗网络GAN等等。
（通俗易懂）RNN及LSTM
qq_43703185的博客
09-07 5455
原文链接：https://blog.csdn.net/zhaojc1995/article/details/80572098 本文部分参考和摘录了以下文章，在此由衷感谢以下作者的分享！ https://zhuanlan.zhihu.com/p/28054589 https://blo
LSTM公式详细推导
05-31
这个是我自己整理的LSTM公式的详细推导，欢迎大家免费下载。需要原始Tex文件和LSTM图的可以直接给我要。若有错误，欢迎指正。
zsny_predict_LSTM_天气预报爬取XGB/LSTM负荷预测_
10-01
标题“zsny_predict_LSTM_天气预报爬取XGB/LSTM负荷预测_”涉及的是一个项目，该项目的主要目的是使用机器学习算法，特别是XGBoost（XGB）和长短期记忆网络（LSTM），来预测天气状况对负荷的影响。这个项目不仅涵盖...
LSTM公式推导详细解答
03-16
在Alex Graves的这篇论文《Supervised Sequence Labelling with Recurrent Neural Networks》中对LSTM进行了综述性的介绍,并对LSTM的Forward Pass和Backward Pass
深度学习（三）————过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶
01-20
GRU（门控循环单元）和LSTM（长短期记忆网络）是RNN的改进版，它们引入了门控机制，如遗忘门、输入门和输出门，有效地解决了梯度消失问题，提高了模型在长序列任务上的性能。 在设计深度学习模型时，理解并掌握这些...
BPE算法理解
咕噜咕噜
08-31 1424
原理（英文为例）： 1.把每个单词都拆成单个字母，在单词结尾加上结束符，并标记上这个词出现的频率 2.（以2-gram为例）把连续相邻的2个字母，进行组合，比如a b c-->ab bc ，同样标记上这个词出现的频率 3.统计不同两个字母组合的最大频率，并选出最大字母组合。 4.用选出的最大字母组合替换掉第一步中拆开的 两个字母 比如用ab 去替换掉 每个单词中出现的a b 5....
torchetext的简单用法
咕噜咕噜
04-11 584
import pandas as pd import numpy as np import torch import time import random import os from torchtext import data from torchtext.vocab import Vectors from torch.nn import init from tqdm import tqdm ...
LSTM的巅峰理解笔记
咕噜咕噜
04-14 463
Recurrent Neural Networks 目录 Recurrent Neural Networks 一.The Problem of Long-Term Dependencies 二. LSTM Networks 三. The Core Idea Behind LSTMs 四. Step-by-Step LSTM Walk Through 五. Variants on Long Short Term Memory 六. Conclusion RNN展开： RNN的实现很多任
lstm缓解梯度消失
09-11
LSTM是一种特殊的循环神经网络（RNN）架构，它被设计用来解决RNN中的梯度消失问题。在RNN中，梯度消失是指近距离梯度主导，远距离梯度变得非常小，导致模型难以学习到远距离的信息。而LSTM通过引入门控机制来缓解梯度消失。 LSTM中的关键部分是遗忘门（forget gate），它是一个sigmoid函数，可以选择在[0,1]之间的值。通过调整遗忘门的值，LSTM可以控制信息在每个时间步长上的保留程度。当遗忘门接近1时，LSTM会饱和遗忘远距离信息的梯度，这样可以防止梯度消失。而当遗忘门接近0时，LSTM会故意阻断梯度流，以遗忘之前的信息。 通过这种方式，LSTM可以有效地缓解梯度消失问题，并且能够更好地捕捉到长期依赖关系。因此，LSTM在处理具有长序列的任务时通常比传统的RNN模型更有效。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值