论文笔记：Long Short-Term Memory

最新推荐文章于 2025-03-14 21:10:10 发布
最新推荐文章于 2025-03-14 21:10:10 发布
阅读量1.5w 收藏 21
点赞数 9
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/baidu_17806763/article/details/60957295
版权
本文介绍了LSTM（长短期记忆网络）的基本概念及其如何解决传统RNN（循环神经网络）中梯度消失或爆炸的问题。LSTM通过引入记忆单元及三个门控机制（输入门、输出门和遗忘门），实现了更高效、稳定的学习过程，特别适用于处理长序列数据。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

LongShort-Term Memory

摘要

通过recurrent BP方式来学着存储随时间间隔变化的信息会花费很长的时间。我们引进了新奇的，有效的，基于梯度的方法：LSTM（至少在1997年的时候这么评价还算公正）。 且能够解决一些标签比较长的分类任务。

LSTM现在基本会被用在RNN模型中，代替RNN的隐层单元，能够起到很好的长时间记忆效果。现阶段（2017）GRU跟LSTM都是基于门的单元，但是GRU有2个门，计算速度比LSTM（3个门）要快。

引言

RNN共享权重，权重修正速度比较慢，只有短时记忆。
problem 卷积“Back-Propagation Through Time”或者”Real-Time Recurrent Learning”, 误差信号随着反馈网络会趋向于（1）爆炸（2）消失 。 情况（1）会产生摆动权重，情况2 会浪费大量的时间，可能会一点也不工作。
remedy LSTM的提出就是为了解决上面提出的问题

LSTM

  1. Memory cells and gate units
    引进乘法输入单元和乘法输出单元。输入单元是为了保护存储在j中的记忆内容不受不相关输入的微小影响。同时，输出单元是为了保护其他的单元免受当前不相关信号产生的微小影响。
  2. 输入们 输出门 遗忘门
  3. 3.

RNN

RNN能够有效联系上下文信息就是因为他可以长时间记忆。梯度存在爆炸或者消失的问题，因此提出了LSTM。
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
LSTM的backpropagation
使用梯度下降，使用了RTRL和BPTT方法。4

Reference
1. Hochreiter, S, and J. Schmidhuber. “Long short-term memory.” Neural Computation 9.8(1997):1735-1780.
2. Graves, Alex. Long Short-Term Memory. Supervised Sequence Labelling with Recurrent Neural Networks. Springer Berlin Heidelberg, 2012:1735-1780.
3. http://www.jianshu.com/p/9dc9f41f0b29/ 这篇文章很不错

EMMA

SIAT

Emma-SJ
关注
lstm原始论文_LSTM: A Search Space Odyssey 论文阅读笔记
weixin_39678493的博客
12-04 8583
论文研究目标（摘要、引言） 这篇论文研究LSTM各部件（遗忘门、输入门、输出门、激励函数等）在LSTM中起到了何种作用。论文作者借助大规模实验，利用声音识别、手写体字符识别、音乐识别（polyphonic music modeling）三项任务，评判vanilla LSTM及其八大变体的表现，借此找出LSTM各组件的作用。 需要注意等式，八大变体的每一个相对于vanilla LSTM都只有...
Long short-term memory 论文小记
Nicoder的专栏
09-28 3419
这是Hochreiter（1997）的一篇老论文，我为了一睹lstm的原创遗风而读。本来想看看最朴素最正宗的lstm模型，结果却发现在本文中作者并未提出一种特有的模型。文章很长，并不打算翻译。下面是我的一些总结和见解，纯粹小菜鸟的个人观点，大家多多指正，非常欢迎~首先是这篇文章的动机。作为一篇长文，什么支撑着作者进行这么多的实验，以及这篇文章的重要性有多大，取决于动机。在这里，总结成一句话就是：Ol
LSTM思想解析—论文精读（Long Short-Term Memery）
wangxiaobin1314的博客
03-14 1214
最近在学习LSTM(Long Short-term Memory )，网上的文章基本上都是基于下图对LSTM进行介绍。然而，有几个问题一直困扰着我：LSTM与相比，它能够有效处理长依赖问题（long time lags），原因是什么呢？LSTM的网络架构为什么要设计成这样呢？引入门控机制的原因是啥呢？为了解答上述疑惑，我翻阅网上的文章、咨询DeepSeek和豆包，均没有找到我想要的答案。因此，我决定阅读原论文，通过论文去了解作者的思想。
Long Short-Term Memory (LSTM)
AcceptedLin的博客
07-18 1562
                     Long Short-Term Memory (LSTM) Outline                                   Background                  LSTM Network                  Extended LSTM                  LSTM vs. R...
LSTM为什么晦涩难懂？Long Short-term Memory 万字解析 论文精读 LSTM的提出
qq_45523675的博客
11-04 3913
说明：本文是自己阅读期间，发现论文中的公式复杂，于是写了这篇文章进行梳理，同时给出自己的总结方法。文中的非手绘图片均来自论文。注意：此篇文章提出的LSTM并不是现在所熟知的LSTM（现在是指2022年），现在的LSTM拥有Forget Gate，但是这篇文章并没有遗忘门，而带遗忘门的LSTM是出自，这篇文章发表自1999年，是对的改进。
LSTM（Long Short-Term Memory）是长短期记忆网络 一篇不错的文章
11-11
一篇不错的关于LSTM（是长短期记忆网络)的文章， 对于LSTM有一种不一样的理解
（长短时记忆网络 vs. 长短时记忆单元）论文阅读：long short term memory networks for machine reading
简单博客All In
03-28 2104
本文介绍长短时记忆网络论文的动机、思想和方法。它代替LSTM中的记忆单元，换成了以attention机制实现的memory networks。
Long Short-Term Memory.pdf
08-08
在神经网络领域，Long Short-Term Memory（LSTM）是一种特殊的循环神经网络（RNN）结构，由Sepp Hochreiter和Jürgen Schmidhuber于1997年提出，旨在解决传统RNN在处理长期依赖问题时面临的梯度消失和梯度爆炸等问题...
Long Short-Term Memory Networks With Python
01-30
作者为Jason Brownlee. 请支持正版！本资源供非商业用途共享！ About the Ebook: 3 parts, 14 step-by-step tutorial lessons, 246 pages. 6 LSTM model architectures. 45 Python (.py) files.
xLSTM: Extended Long Short-Term Memory
北风吹过的秋
06-02 2094
图8在展示了不同语言模型在不同模型大小下的验证集困惑度（Perplexity）与参数数量的关系，这是对模型缩放行为（Scaling Laws）的分析。图中比较了几种xLSTM变体，包括只有sLSTM的架构（xLSTM[0:1]），只有mLSTM的架构（xLSTM[1:0]），以及两者结合的架构（xLSTM[1:1]）。表3展示了不同语言模型在SlimPajama数据集上的性能比较，特别是在不同模型大小下的验证集困惑度（Perplexity）和下游任务（Downstream Tasks）的性能。
RNN：Long Short-term Memory（中）
狂放不羁霸的博客
01-19 1380
1 LSTM 的简图 2 LSTM 的整体结构 2.1 结构图 2.2 流程图 3 举个例子 3.1 简单看看 3.2 代入 LSTM 4 Original Network v.s. LSTM 5 细看 LSTM
Long Short-term Memory
09-18
Long short-term memory (LSTM) is a recurrent neural network (RNN) architecture that remembers values over arbitrary intervals. Stored values are not modified as learning proceeds. RNNs allow forward and backward connections between neurons. An LSTM is well-suited to classify, process and predict time series given time lags of unknown size and duration between important events. Relative insensitivity to gap length gives an advantage to LSTM over alternative RNNs, hidden Markov models and other sequence learning methods in numerous applications.
LSTM相关论文（中文加英文）
05-06
这是我自己学习时候整理的论文，可以下载以及看看LSTM的相关论文
Long Short-Term Memory （LSTM）原文前半部分理解+个人学习路径
qq_45943389的博客
04-25 1473
Long Short-Term Memory （LSTM）原文第一第二章翻译+解读
＜3＞LSTM(Long Short-Term Memory)原文解读
weixin_42432619的博客
02-28 5555
原文：Long Short-T erm Memory，1997 作者：Sepp Hochreiter, Jürgen Schmidhuber 1.核心问题： 通过循环神经网络学习较长时间间隔的任务通常需要很长的时间，这是因为误差在反传的过程中表现了严重的不充分与衰减（常见就是误差爆炸或者消失，对应的训练结果就是出现严重的权重震荡或者需要很长时间也无法完成训练）。LSTM提出就是为了解决上述问题。 2.时变输入循环神经网络的相关研究（这部分描述的较为简略，细节难以把握）： 2.1 Gradient-
【论文阅读】Long short-term memory-Fully connected neural network for PM2.5concentration prediction
weiwanshu的专栏
03-19 1049
Long short-term memory - Fully connected (LSTM-FC) neural network for PM2.5concentration prediction •The LSTM-FC neural network can give an accurate prediction of urban PM2.5contamination over the n...
论文笔记：Long short-term memory network for traffic speed prediction using remote microwave sensor data
asszyq的博客
11-24 636
论文阅读：Long short-term memory network for traffic speed prediction using remote microwave sensor data 四个问题： 1. 要解决什么问题？ RNN具有短期依赖和梯度爆炸等问题，可以使用LSTM改善RNN并对交通速度进行预测。 2. 用了什么方法解决？ 3. 效果如何？ 4. 还存在什么问题？ 论文概述 2.1简介 最普遍的数据收集装置是RTMS。RTMS利用微波检测一段路程内的动态和静态的物体。 而RTMS的对
Long Short-Term Memory Recurrent Neural Network Architectures for Large Scale Acoustic Modeling论文阅读
weixin_45459911的博客
06-06 1437
《Long Short-Term Memory Recurrent Neural Network Architectures for Large Scale Acoustic Modeling》论文阅读及补充 文章目录一、Abstractkey word二、Introduction三、网络结构1、传统LSTM2、Deep LSTM四、序列问题1、序列预测2、序列分类3、序列生成4、序列到序列的预测五、对LSTM的补充1、LSTM网络2、LSTM权重3、LSTM门4、LSTM的限制 一、Abstract 1、
论文阅读：Long Short-Term Memory Neural Networks for Chinese Word Segmentation【2015】
SYSU_BOND的博客
09-09 1046
意义： 首次使用LSTM用于中文分词【之前的方法大多基于局部上下文对标注进行预测，并未能很好使用长距离信息，详情看后续阐述】 调研了多种在LSTM中的dropout的应用 【现在去看感觉这篇文章工作意义不大】 Previous Methods 前馈神经网络分词：把上下文进行concate后，经由线性分类器标注 模型 LSTM-1：使用单层LSTM LSTM-2：使用双层LS...
long short-term memory论文下载
最新发布
03-18
要获取 Long Short-Term Memory (LSTM) 的原始论文 PDF 文件，可以通过以下方法实现： ### 方法一：访问学术资源网站 Sepp Hochreiter 和 Jürgen Schmidhuber 在 1997 年发表了 LSTM 的开创性论文《Long Short-Term Memory》。这篇论文可以在多个学术资源平台上找到，例如： - **arXiv**: 如果该论文已被上传到 arXiv，则可以直接通过搜索引擎输入标题查找。 - **Google Scholar**: 输入完整的论文名称 “Long Short-Term Memory”，通常会提供免费的 PDF 下载链接或者付费购买选项。 - **ResearchGate 或 Academia.edu**: 这些平台可能由作者或其他研究者分享了可公开下载的版本。 如果上述方式无法直接获得免费版 PDF，还可以尝试联系图书馆或教育机构订阅的服务数据库，比如 IEEE Xplore、SpringerLink 等[^1]。 ### 方法二：利用开源项目中的文档 一些深度学习框架（如 TensorFlow、PyTorch）以及教程博客可能会附带推荐阅读材料列表，其中包含经典模型的相关背景资料链接。此外，在 GitHub 上搜索关键词“lstm paper implementation”也可能发现有人整理好了原版文章供学习交流使用[^2]。 需要注意的是，在某些情况下，即使找到了合法渠道提供的电子副本，仍需注意版权规定以确保合理使用这些内容。 对于实际应用方面提到的新变种架构 xLSTM 改进了传统方法针对低频词汇建模效果不佳的问题；具体技术细节则需要查阅后续发展成果文献进一步了解[^3]。 ```python import requests def download_paper(url, filename="paper.pdf"): response = requests.get(url) with open(filename, 'wb') as f: f.write(response.content) # Example usage download_paper("https://www.example.com/path/to/lstm-paper", "Hochreiter_Schmidhuber_LSTM_1997.pdf") ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值