详解LSTM (Long Short - Term Memory)网络

最新推荐文章于 2024-04-26 08:40:33 发布
最新推荐文章于 2024-04-26 08:40:33 发布
阅读量1.8k 收藏 3
点赞数 2
分类专栏： NLP自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35883464/article/details/90450486
版权
本文介绍了LSTM是如何解决RNN的长期依赖问题的，包括忘记门、输入门、更新和输出四个步骤。通过感性和理性的理解，帮助读者更好地掌握LSTM的工作原理。
摘要由CSDN通过智能技术生成

 

在LSTM的文章中最出名文章之一就是 Christopher Olah 的博文     感觉这篇博客图画的非常棒，公式也写的很清楚，但是缺失一些感性理解。

自己在看了七月在线寒小阳和练数成金对于LSTM的讲解，对于LSTM有了更深的理解，写一篇博客总结下。

目录

RNN引出LSTM的感性认知

LSTM原理（理性认知）

第一步：忘记门

第二步：输入门

第三步：更新

第四步：输出

 

 

RNN引出LSTM的感性认知

RNN解决了对之前的信息保存的问题。但是存在长期依赖的问题，也就是说，记忆量容量有限，间隔不断增大时，RNN 会丧失学习到连接如此远的信息的能力。这才引出了LSTM

先感性的理解下LSTM和RNN的区别：

  • LSTM的‘‘“记忆细胞’’被改造了
  • LSTM 改记忆的信息会一直传递，不该记得会被"门"截断

 

RNN的图示：

RNN的‘记忆细胞’图示：

LSTM的‘记忆细胞’图示：

 

 

LSTM原理（理性认知）

第一步：忘记门

决定从“细胞状态”中丢弃什么信息

最低0.47元/天 解锁文章
陈宸-研究僧
关注
专栏目录
Long Short-term Memory
09-18
Long short-term memory (LSTM) is a recurrent neural network (RNN) architecture that remembers values over arbitrary intervals. Stored values are not modified as learning proceeds. RNNs allow forward and backward connections between neurons. An LSTM is well-suited to classify, process and predict time series given time lags of unknown size and duration between important events. Relative insensitivity to gap length gives an advantage to LSTM over alternative RNNs, hidden Markov models and other sequence learning methods in numerous applications.
Long-Short Term Memory(长短时记忆模型)
热门推荐
xiaoniu0991的博客
07-14 1万+
长短期记忆（Long-Short Term Memory, LSTM）是一种时间递归神经网络(RNN)，论文首次发表于1997年。由于独特的设计结构，LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。        LSTM的表现通常比时间递归神经网络及隐马尔科夫模型（HMM）更好，比如用在不分段连续手写识别上。2009年，用LSTM构建的人工神经网络模型赢得过ICDAR手写识别
Long Short Term Memory(LSTM)
龙行天下的博客
05-30 646
LSTM也就是长短期记忆，是用来解决RNN网络中的梯度消失而提出的。 首先我们了解一下RNN(循环神经网络)，该网络主要用来处理时序问题，也就是网络的前后输入之间是有联系的，网络不仅要学习输入样本本身的特征，还有学习相邻输入样本之间的关系，所以RNN常用来处理自然语言问题，因为要理解一句话，不仅要理解话里的每个字或单词的意思，还要理解这些字或单词的不同排列顺序会产生什...
LSTM（Long Short-Term Memory）
wangqiaowq的博客
04-26 1131
LSTM 网络引入了一种记忆单元（memory cell），用于存储和更新序列中的信息，并引入了三个门（gate）控制记忆单元中的信息流动：输入门（input gate）、遗忘门（forget gate）和输出门（output gate）。输入门控制新输入的流入，遗忘门控制历史信息的遗忘，输出门控制记忆单元中的信息输出。LSTM 网络的主要目的是解决传统 RNN 在训练过程中遇到的梯度消失和梯度爆炸问题，从而更好地捕捉序列数据中的长期依赖关系。：决定上一时刻的细胞状态中哪些信息应被丢弃。
LSTM（Long Short-Term Memory）是长短期记忆网络 一篇不错的文章
11-11
### LSTM（Long Short-Term Memory）长短期记忆网络解析 #### 概述 LSTM（Long Short-Term Memory），即长短期记忆网络，是一种特殊类型的循环神经网络(RNN)，专门设计用于解决序列数据中的长期依赖问题。传统的...
Long Short-Term Memory Networks With Python.pdf
06-02
**长短期记忆网络（LSTM）与Python** **前言** 本书《长短期记忆网络与Python》面向的数据科学家、学生和机器学习工程师，旨在通过深入浅出的方式介绍如何使用Python实现LSTM模型来解决序列预测问题。作者Jason ...
long-short-term-memory-networks-with-python.7z
04-22
**长短期记忆网络（LSTM）详解** 长短期记忆网络（Long Short-Term Memory, LSTM）是一种...提供的“long-short-term-memory-networks-with-python.pdf”可能涵盖这些内容，是深入理解LSTM原理和技术实践的好资源。
long-short-term-memory-networks-with-python
07-24
长短期记忆网络（Long Short-Term Memory，简称LSTM）是一种特殊的循环神经网络（Recurrent Neural Network，RNN），旨在解决传统RNN在处理序列数据时遇到的梯度消失和梯度爆炸问题。LSTM通过引入门控机制来有效地...
Long Short-Term Memory.pdf
08-08
[1]Hochreiter, Sepp; Schmidhuber, Jürgen.Long Short-Term Memory[J].Neural Computation,1997,9(8)
Long Short term memory unit(LSTM)
Steve Wang's blog
01-16 713
整理并翻译自吴恩达深度学习系列视频：序列模型第一周。 Prerequisite：Gated Recurrent Unit(GRU) Long Short term memory unit(LSTM) GRU 和 LST的对比。 LTSM计算公式如下： C~<t>=tanh(Wc[C<t−1>,x<t>]+bc...
RNN：Long Short-term Memory（中）
狂放不羁霸的博客
01-19 1328
1 LSTM 的简图 2 LSTM 的整体结构 2.1 结构图 2.2 流程图 3 举个例子 3.1 简单看看 3.2 代入 LSTM 4 Original Network v.s. LSTM 5 细看 LSTM
深度学习（3）Long short term memory-LSTM
Bamboozq的博客
03-16 591
Recurrent Neural Network 相比于一般的神经网络，比如MLP(Full-connection Neural Network),RNN是一种用于处理序列数据的神经网络，它能处理序列变化的数据。比如一个单词在上下文中的会有的不同含义。它能很好地处理这类问题。 RNN简介 Naive RNN x为当前的输入状态 h为接收的上一节...
循环神经网络之Long Short-Term Memory（LSTM）
奥古斯都
05-21 1012
1、LSTM简介 长短期记忆神经网络，是基于RNN改进的一种可以处理有序数据的循环神经网络，由于它设计的输入门、输出门、遗忘门三个门结构很好的解决了RNN中存在梯度消失的问题，可以说是RNN的改进版，后续还有GRU网络，GRU是针对LSMT的一种改进。 2、LSTM的结构 标准的RNN中的单层神经网络 包含重复模块的四层神经网络 与RNN相比发现每一个时间步都是非常的复杂，不仅仅是一个激活函数而已。 接下来将中间这个部分拆解开了，庖丁解牛。 细胞状态是LSTM中非常重要的一个单元状态，它.
Long Short-Term Memory（长短期记忆网络）
Mr_Suda的博客
11-27 1512
在这篇文章中将介绍的是RNN的一个“升级”模型，LSTM。LSTM可以说是复杂版本的RNN，相较于simple-RNN，LSTM可以有效地避免了梯度消失的问题，并且在RNN的基础上可以有更长的记忆。 1.LSTM的模型结构 LSTM与simple-RNN的区别更多的在于，LSTM引入了门的一个机制的设定，从而导致了LSTM有4个学习参数（simple-RNN只有一个）。 上图所展示的便是LSTM和simple-RNN的大致模型图。 在LSTM中，一共有3个门，忘记门（forget gate），.
长短时记忆网络 Long Short-Term Memory ｜ LSTM
JasonH2021的博客
07-08 2309
简单介绍了长短时记忆网络的基本概念，优缺点，应用场景，建模过程，实现的类库方法和代码案例等
【Deep Learning】LSTM(Long Short-Term Memory)及变体
Lawe的博客
07-18 3019
通过对RNN理解的基础上(具体可见：【Deep Learning】循环神经网络推导和实现)，可以进一步了解LSTM（LongShort-Term Memory，其出现的原因是为了解决RNN对长依赖的句子上表现不好的情况。其本质是通过合理的激活一些信息，避免距离成为信息强度的决定性因素，目前LSTM除了原来的结构外，还衍生出了很多变体。 一、RNN与LSTM结构图         通过前一节我们
【DL学习笔记】4：长短期记忆网络(Long Short-Term Memory)
LauZyHou的笔记
02-22 1809
在前面学习的循环网路中，因为梯度中有参数weight_hh的k次幂的存在，所以会导致梯度弥散和梯度爆炸的问题。对于梯度爆炸问题，可以用PyTorch笔记22最后面给出的梯度裁剪的方式解决。但是梯度弥散的问题没法这样直接解决，LSTM一定程度上解决了这样的问题，从而为长序列记忆提供了较好的解决方案。 长序列难题 在原始的循环网络中，实际上能处理的记忆信息比较短。如对自然语言的处理中，只能记住之前较少...
详细介绍以下内容MC-SCNN-LSTM，MC-LSTM，SC-LSTM，SC-CNN-LSTM
最新发布
07-26
MC-SCNN-LSTM（Multimodal Convolutional-Sequential Convolutional Neural Network with Long Short-Term Memory），是一种结合了多模态输入和长短期记忆网络（LSTM）的深度学习架构。这种模型常用于处理包含视觉...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值