LSTM 论文（Hochreiter & Schmidhuber, 1997）精读（一）

最新推荐文章于 2025-04-20 19:37:34 发布
最新推荐文章于 2025-04-20 19:37:34 发布
阅读量857 收藏 28
点赞数 21
文章标签： lstm rnn 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_70325224/article/details/147323064
版权

文章：Sepp Hochreiter, Jürgen Schmidhuber; Long Short-Term Memory. Neural Comput 1997; 9 (8): 1735–1780. doi: https://doi.org/10.1162/neco.1997.9.8.1735

原句解析+词汇讲解

1."Learning to store information over extended time intervals via recurrent backpropagation takes a very long time, mostly due to insufficient, decaying error backflow."

中文翻译：
通过“循环反向传播”来学习在较长时间间隔内存储信息的能力需要非常长的训练时间，主要是因为误差回传不充分且逐渐衰减。

重点词解释：

  • store information：存储信息（指模型对前面时序输入的记忆）

  • extended time intervals：延长的时间间隔，表示“长时间依赖”

  • via：通过……的方式（介词）

  • recurrent backpropagation：RNN 中的反向传播算法，即 BPTT（Backpropagation Through Time）

  • takes a very long time：训练时间长

  • insufficient：不充分的

  • decaying：衰减的，逐渐变小的

  • error backflow：误差反向传播时的信息流动（gradient flow）

📘 知识点：
这是在描述 RNN 最大的缺陷：不能有效学习长期依赖关系，因为误差在时间反向传播过程中会越来越小，导致早期的输入信号“学不到”。

2."We briefly review Hochreiter's 1991 analysis of this problem, then address it by introducing a novel, efficient, gradient-based method called 'Long Short-Term Memory' (LSTM)."

中文翻译：
我们简要回顾了 Hochreiter 在1991年对该问题的分析，并通过引入一种新颖、高效、基于梯度的方法——长短期记忆网络（LSTM）来解决这一问题。

重点词解释：

  • briefly：简要地

  • review：回顾

  • analysis：分析

  • novel：新颖的

  • efficient：高效的

  • gradient-based method：基于梯度的方法（即用梯度下降来训练）

  • Long Short-Term Memory (LSTM)：长短期记忆网络，解决 RNN 无法学习长期依赖的关键结构

📘 知识点：
LSTM 是在 Hochreiter 早期理论分析的基础上发展出的结构，它引入了门控机制来控制信息的流入、流出和遗忘，从而保留长期信息。

3."Truncating the gradient where this does not do harm, LSTM can learn to bridge minimal time lags in excess of 1000 discrete time steps by enforcing constant error flow through 'constant error carrousels' within special units."

中文翻译：
在不影响性能的前提下截断梯度传播，LSTM 能够学习跨越 超过1000个离散时间步的最小时间延迟（time lags），这是通过在特定单元中强制保持误差恒定流动（constant error flow）来实现的，这些单元被称为恒定误差环（CEC）。

重点词解释：

  • truncating：截断（在 BPTT 中常用于限制反向传播步数）

  • does not do harm：不会造成影响/伤害

  • bridge：跨越（比如跨越长期依赖）

  • minimal time lags：最小时间延迟，即两个相关事件之间的最短时间差

  • in excess of 1000 time steps：超过1000个时间步（说明LSTM可以处理很长的序列）

  • enforcing：强制

  • constant error flow：误差不会衰减（避免梯度消失）

  • constant error carrousels (CECs)：恒定误差环，是 LSTM 的核心创新结构，可以让误差在某个路径中稳定传播

  • special units：LSTM中的“存储单元”

📘 知识点：

  • CEC 是 LSTM 中的关键结构，用来保持梯度恒定传播不衰减；

  • 通过它，LSTM 可以记住非常久远的输入（比如1000步以前的内容），而传统 RNN 很快就忘了。

4."Multiplicative gate units learn to open and close access to the constant error flow."

中文翻译：
乘法门控单元学习控制是否允许误差恒定流动，即学习开启或关闭对误差信号的通路。

关键词解释：

  • Multiplicative gate units：乘法门控单元，即 LSTM 中的 输入门、遗忘门、输出门。
    👉 它们通过sigmoid 函数输出一个 [0,1] 的值，乘到对应的信息或误差流上，相当于“调节开关”。

  • open and close access：开启/关闭通路（控制信息/误差能否通过）

  • constant error flow：恒定误差流，即前面提到的 CEC（constant error carousel）

📘 知识点补充：
门控机制是 LSTM 的核心亮点，它通过让梯度流乘上门控（值为 0 到 1），从而保留有用的信息，抑制无关的部分，同时控制梯度不会消失。

5."LSTM is local in space and time; its computational complexity per time step and weight is O(1)."

中文翻译：
LSTM 在空间和时间上都是局部的；它的每个时间步、每个权重的计算复杂度是常数阶 O(1)。

关键词解释：

  • local in space and time：

    • 空间上局部：只处理相邻神经元的连接，不是全连接

    • 时间上局部：当前时间步只与上一个时间步的状态有关，不涉及全局优化

  • computational complexity：计算复杂度

  • per time step and weight：每个时间步、每个权重的计算量

  • O(1)：常数复杂度，不随序列长度变化而增长

📘 知识点补充：
这句话的意思是：虽然 LSTM 能处理长依赖问题，但每一步的计算量是固定的，非常适合高效训练。

6."Our experiments with artificial data involve local, distributed, real-valued, and noisy pattern representations."

中文翻译：
我们在实验中使用了人工构造数据，其特征是局部性、分布式、实值表示，并带有一定噪声。

关键词解释：

  • artificial data：人为制造的测试数据（不是自然语言或真实传感器数据）

  • local：局部结构（比如只涉及邻近的时间步或特征）

  • distributed：分布式表示，意味着一个模式不是由单个神经元编码，而是多个神经元一起表示

  • real-valued：连续实数值，而非离散或二值化表示

  • noisy：带有噪声，更贴近真实世界数据

📘 知识点补充：
这表明他们构造的数据不只是“玩具数据”，而是足够复杂，能测试 LSTM 的实际学习能力和鲁棒性。

7."In comparisons with RTRL, BPTT, Recurrent Cascade-Correlation, Elman nets, and Neural Sequence Chunking, LSTM leads to many more successful runs, and learns much faster."

中文翻译：
与 RTRL、BPTT、递归级联相关（Recurrent Cascade-Correlation）、Elman 网络和神经序列分块法（Neural Sequence Chunking）相比，LSTM 取得了更多的成功训练结果，并且学习速度更快。

关键词解释：

  • RTRL (Real-Time Recurrent Learning)：一种早期的 RNN 训练算法，但计算复杂度非常高

  • BPTT (Backpropagation Through Time)：RNN 最常用的训练方法

  • Recurrent Cascade-Correlation：一种自适应构建隐藏层的递归网络结构

  • Elman nets：一种经典的简单 RNN 结构，由 Jeffrey Elman 提出

  • Neural Sequence Chunking：一种将序列划分成块的神经网络方法

  • successful runs：训练成功率高（能收敛、不发散）

  • learns much faster：训练收敛更快

📘 知识点补充：
这句话的核心是：LSTM 在多个主流 RNN 结构中表现优异，在处理复杂、长序列任务时尤其明显。

8."LSTM also solves complex, artificial long time lag tasks that have never been solved by previous recurrent network algorithms."

中文翻译：
LSTM 还能解决复杂的、具有长时间延迟的人造任务，而这些任务以前的递归网络算法都无法解决。

关键词解释：

  • solves：解决任务（学习到正确的输出）

  • complex：复杂的

  • artificial：人工构造的

  • long time lag tasks：长时间间隔的依赖任务（比如，输入和输出之间差1000步）

  • never been solved：以前的方法都失败了，LSTM 成功了

📘 知识点补充：
“长时间延迟任务”是一类专门设计来测试记忆能力的任务，比如：

  • 输入在时间步 1 给出一个信号；

  • 输出要在时间步 1000 后再做出反应；

  • 这对普通 RNN 来说几乎不可能学会，但 LSTM 做到了。

📚 总结整理

点解释
RNN 学长序列很慢因为梯度在时间上传播时会衰减（gradient vanishing）
Hochreiter 早在1991年就分析了这个问题后来发展成 LSTM
LSTM 引入了新的结构如门控机制、恒定误差流（CEC）
可以处理超长时间序列超过1000步的依赖都能记住
梯度截断不会伤害性能反而提高效率
门控机制乘法门学会控制误差信号是否通过，实现“学记忆”
计算复杂度每步计算复杂度是常数 O(1)，训练高效
数据类型实验数据为局部性强、实值、分布式、带噪声
对比算法相比 RTRL、BPTT、Elman 等，LSTM 成功率高、速度快
长时依赖任务传统 RNN 无法解决的长时间延迟任务，LSTM 可胜任

新子y
关注
＜3＞LSTM(Long Short-Term Memory)原文解读
weixin_42432619的博客
02-28 5579
原文：Long Short-T erm Memory，1997 作者：Sepp Hochreiter, Jürgen Schmidhuber 1.核心问题： 通过循环神经网络学习较长时间间隔的任务通常需要很长的时间，这是因为误差在反传的过程中表现了严重的不充分与衰减（常见就是误差爆炸或者消失，对应的训练结果就是出现严重的权重震荡或者需要很长时间也无法完成训练）。LSTM提出就是为了解决上述问题。 2.时变输入循环神经网络的相关研究（这部分描述的较为简略，细节难以把握）： 2.1 Gradient-
lstm原始论文_LSTM: A Search Space Odyssey 论文阅读笔记
weixin_39678493的博客
12-04 8599
论文研究目标（摘要、引言） 这篇论文研究LSTM各部件（遗忘门、输入门、输出门、激励函数等）在LSTM中起到了何种作用。论文作者借助大规模实验，利用声音识别、手写体字符识别、音乐识别（polyphonic music modeling）三项任务，评判vanilla LSTM及其八大变体的表现，借此找出LSTM各组件的作用。 需要注意等式，八大变体的每一个相对于vanilla LSTM都只有...
LSTM 论文（Hochreiter & Schmidhuber, 1997）精读（五）
最新发布
weixin_70325224的博客
04-20 767
👉 使用一个与向量范数兼容的矩阵范数。：是某一时刻的导数矩阵，来自反向传播中激活函数的导数（例如 sigmoid 的导数）。它是一个对角矩阵，形如：然后我们对这些矩阵求范数（即），再在所有。
LSTM相关论文（中文加英文）
05-06
这是我自己学习时候整理的论文，可以下载以及看看LSTM的相关论文
与LSTM有关的论文总览
weixin_45459911的博客
06-06 7449
在学习LSTM的时候，查阅了很多论文，将其分类整理于此，便于一些新学习LSTM的人据此寻找自己需要的论文。 （都是一些经典论文，不包含前沿论文） 1、序列预测问题 Sequence on Wikipedia. On Prediction Using Variable Order Markov Models, 2004. Sequence Learning: From Recognition and Prediction to Sequential Decision Making, 2001. Chapte
lstm原始论文_论文笔记：Matching Networks for One Shot Learning
weixin_39620629的博客
11-26 923
今天写点关于 "one-shot" learning（就是从一个（或极少个）样本学习而非现在普遍的大量数据集，毕竟，一个小孩能通过一个图片知道什么是长颈鹿，而机器却需要大量的样本！） 的东西Matching Networks for One Shot Learning这篇论文是来自谷歌DeepMind的一篇论文，主要在于解决：基于小样本去学习归类（或者别的任务），并且这个训练好的模型不需要经过调整...
lstm原始论文_论文盘点：基于图卷积GNN的多目标跟踪算法解析
weixin_39793638的博客
12-04 913
©PaperWeekly 原创 ·作者｜黄飘学校｜华中科技大学硕士研究方向｜多目标跟踪随着这两年 GNN 的发展，其对于关系的建模特性也被引入了多目标跟踪领域，这次我通过对这两年基于 GNN 的 MOT 算法的介绍来分析其特点。相关 MOT 和数据关联的基础知识可以去我的专栏查看。EDA_GNN论文标题： Graph Neural Based End-to-end Data Assoc...
lstm原始论文_图像描述（image caption）历年突破性论文总结
weixin_39976748的博客
12-01 1338
图像描述(image caption)顾名思义，图像描述是指以图像为输出，通过模型和计算来输出对应图像的自然语言描述。如下图所示，输出的自然语言是“A person riding a motorcycle on a dirt road.“ 。这一领域是结合了人工智能两大方向：计算机视觉和自然语言处理。从2015年的论文：Show and Tell开始，近几年图像描述领域开始快速发展，逐渐...
flux-blstm-implementation:Graves＆Schmidhuber（2005）双向LSTM在Flux中的实现
05-19
这是Graves＆Schmidhuber（2005）定义的用于语音识别的双向LSTM网络的实现。 它在Flux机器学习库中为Julia编程语言定义。 参考 Graves，A.＆Schmidhuber，J.（2005）。 具有双向LSTM和其他神经网络架构的逐帧音素...
lstm 来源结构参考文献 浅谈
u014114990的专栏
11-20 6000
Long Short Term网络一般叫做 LSTM，是一种 RNN 特殊的类型，可以学习长期依赖信息。LSTM 由 Hochreiter & Schmidhuber (1997) 提出，并在近期被 Alex Graves 进行了改良和推广。究竟如何实现LSTM RNN误区 我感觉有一件很重要的事情一直未被大家充分强调过（而且这也是我为什么不能使用RNN做我想做的事情的主要原因
LSTM（Long Short-Term Memory）是长短期记忆网络 一篇不错的文章
11-11
一篇不错的关于LSTM（是长短期记忆网络)的文章， 对于LSTM有一种不一样的理解
一个双向LSTM程序 BiLSTM.rar
04-06
LSTM 由Hochreiter & Schmidhuber (1997)提出，并在近期被Alex Graves进行了改良和推广。在很多问题，LSTM 都取得相当巨大的成功，并得到了广泛的使用。 LSTM 通过刻意的设计来避免长期依赖问题。记住长期的信息在...
长短期记忆网络(LSTM)
weixin_45894377的博客
01-03 748
LSTM通过引入记忆单元，有效地控制信息的传递和丢弃，从而在长序列中保留关键信息。
LSTM思想解析—论文精读（Long Short-Term Memery）
wangxiaobin1314的博客
03-14 1336
最近在学习LSTM(Long Short-term Memory )，网上的文章基本上都是基于下图对LSTM进行介绍。然而，有几个问题一直困扰着我：LSTM与相比，它能够有效处理长依赖问题（long time lags），原因是什么呢？LSTM的网络架构为什么要设计成这样呢？引入门控机制的原因是啥呢？为了解答上述疑惑，我翻阅网上的文章、咨询DeepSeek和豆包，均没有找到我想要的答案。因此，我决定阅读原论文，通过论文去了解作者的思想。
LSTM为什么晦涩难懂？Long Short-term Memory 万字解析 论文精读 LSTM的提出
qq_45523675的博客
11-04 3957
说明：本文是自己阅读期间，发现论文中的公式复杂，于是写了这篇文章进行梳理，同时给出自己的总结方法。文中的非手绘图片均来自论文。注意：此篇文章提出的LSTM并不是现在所熟知的LSTM（现在是指2022年），现在的LSTM拥有Forget Gate，但是这篇文章并没有遗忘门，而带遗忘门的LSTM是出自，这篇文章发表自1999年，是对的改进。
lstm原始论文_RNN及其改版（LSTM, 双向RNN, seq2seq）总结
weixin_39856589的博客
12-04 1908
RNN(Recurrent Neural Networks) 循环神经网络目的：考虑连续数据的前后关联影响。方法：将前（和/或 后）方的数据作为一个权重加入到原有推断中。作用：预测分析，语义分析，连续数列的分析改进： 双向RNN：前后都作为权重加入到神经元的推导LSTM：输入门，输出门，遗忘门，解决长期依赖的问题GRN：更新门，重置门，与LSTM相同，节省计算量seq2seq：解决不等长序列的问题...
【深度学习论文翻译】基于LSTM深度神经网络的时间序列预测（Time Series Prediction Using LSTM Deep Neural Networks）
热门推荐
水亦心的博客
04-03 1万+
目录 一、前言 二、摘要 三、什么是LSTM神经元？ 四、简单正弦波示例 五、 不那么简单的股票市场 六、多维LSTM预测 七、结论 一、前言 最近需要用到时间序列，在网上也找到了一篇相关的文章及源代码，在此分享给大家。 1.文章原文：https://www.altumintelligence.com/articles/a/Time-Series-Prediction-Usin...
《Long Short-Term Memory》翻译，Sepp Hochreiter， ¨urgen Schmidhuber．１９９７，９（８）：１７３５－１７８０
anananajiushiwo的博客
06-21 1350
目录摘要一.介绍2.1问题二.先前的工作2.1梯度下降法变量2.2时间延迟2.3时间常数2.4Ring的方法2.5Bengio et al的方法2.6卡尔曼滤波器2.7Second Order Nets2.8Simple Weight Guessing2.9Adaptive Sequence Chunkers三.常数误差反向传播3.1指数衰减的错误3.1.1传统BPTT(例如，Williams & Zipser, 1992)3.1.2《Hochreiter分析大纲》(1991，第19-21页)3.1.3直观
深度学习与LSTM论文精选集合
LSTM由Hochreiter & Schmidhuber于1997年提出，并在随后的工作中被进一步完善和推广。LSTM由于其结构设计，能够有效地解决传统RNN在处理长序列数据时遇到的梯度消失或梯度爆炸的问题，使其在语音识别、语言模型、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值