论文笔记：Long Short-Term Memory

最新推荐文章于 2022-11-04 22:10:52 发布
最新推荐文章于 2022-11-04 22:10:52 发布
阅读量1.5w 收藏 21
点赞数 9
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/baidu_17806763/article/details/60957295
版权

LongShort-Term Memory

摘要

通过recurrent BP方式来学着存储随时间间隔变化的信息会花费很长的时间。我们引进了新奇的，有效的，基于梯度的方法：LSTM（至少在1997年的时候这么评价还算公正）。 且能够解决一些标签比较长的分类任务。

LSTM现在基本会被用在RNN模型中，代替RNN的隐层单元，能够起到很好的长时间记忆效果。现阶段（2017）GRU跟LSTM都是基于门的单元，但是GRU有2个门，计算速度比LSTM（3个门）要快。

引言

RNN共享权重，权重修正速度比较慢，只有短时记忆。
problem 卷积“Back-Propagation Through Time”或者”Real-Time Recurrent Learning”, 误差信号随着反馈网络会趋向于（1）爆炸（2）消失 。 情况（1）会产生摆动权重，情况2 会浪费大量的时间，可能会一点也不工作。
remedy LSTM的提出就是为了解决上面提出的问题

LSTM

  1. Memory cells and gate units
    引进乘法输入单元和乘法输出单元。输入单元是为了保护存储在j中的记忆内容不受不相关输入的微小影响。同时，输出单元是为了保护其他的单元免受当前不相关信号产生的微小影响。
  2. 输入们 输出门 遗忘门
  3. 3.

RNN

RNN能够有效联系上下文信息就是因为他可以长时间记忆。梯度存在爆炸或者消失的问题，因此提出了LSTM。
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
LSTM的backpropagation
使用梯度下降，使用了RTRL和BPTT方法。4

Reference
1. Hochreiter, S, and J. Schmidhuber. “Long short-term memory.” Neural Computation 9.8(1997):1735-1780.
2. Graves, Alex. Long Short-Term Memory. Supervised Sequence Labelling with Recurrent Neural Networks. Springer Berlin Heidelberg, 2012:1735-1780.
3. http://www.jianshu.com/p/9dc9f41f0b29/ 这篇文章很不错

EMMA

SIAT

Emma-SJ
关注
Long short-term memory 论文小记
Nicoder的专栏
09-28 3283
这是Hochreiter（1997）的一篇老论文，我为了一睹lstm的原创遗风而读。本来想看看最朴素最正宗的lstm模型，结果却发现在本文中作者并未提出一种特有的模型。文章很长，并不打算翻译。下面是我的一些总结和见解，纯粹小菜鸟的个人观点，大家多多指正，非常欢迎~首先是这篇文章的动机。作为一篇长文，什么支撑着作者进行这么多的实验，以及这篇文章的重要性有多大，取决于动机。在这里，总结成一句话就是：Ol
Long Short-Term Memory.pdf
08-08
[1]Hochreiter, Sepp; Schmidhuber, Jürgen.Long Short-Term Memory[J].Neural Computation,1997,9(8)
Long Short-Term Memory (LSTM)
AcceptedLin的博客
07-18 1515
                     Long Short-Term Memory (LSTM) Outline                                   Background                  LSTM Network                  Extended LSTM                  LSTM vs. R...
LSTM（Long Short-Term Memory）是长短期记忆网络 一篇不错的文章
11-11
一篇不错的关于LSTM（是长短期记忆网络)的文章， 对于LSTM有一种不一样的理解
LSTM为什么晦涩难懂？Long Short-term Memory 万字解析 论文精读 LSTM的提出
qq_45523675的博客
11-04 2699
说明：本文是自己阅读期间，发现论文中的公式复杂，于是写了这篇文章进行梳理，同时给出自己的总结方法。文中的非手绘图片均来自论文。注意：此篇文章提出的LSTM并不是现在所熟知的LSTM（现在是指2022年），现在的LSTM拥有Forget Gate，但是这篇文章并没有遗忘门，而带遗忘门的LSTM是出自，这篇文章发表自1999年，是对的改进。
论文笔记：Long short-term memory network for traffic speed prediction using remote microwave sensor data
asszyq的博客
11-24 562
论文阅读：Long short-term memory network for traffic speed prediction using remote microwave sensor data 四个问题： 1. 要解决什么问题？ RNN具有短期依赖和梯度爆炸等问题，可以使用LSTM改善RNN并对交通速度进行预测。 2. 用了什么方法解决？ 3. 效果如何？ 4. 还存在什么问题？ 论文概述 2.1简介 最普遍的数据收集装置是RTMS。RTMS利用微波检测一段路程内的动态和静态的物体。 而RTMS的对
Long Short-Term Memory Networks With Python
01-30
作者为Jason Brownlee. 请支持正版！本资源供非商业用途共享！ About the Ebook: 3 parts, 14 step-by-step tutorial lessons, 246 pages. 6 LSTM model architectures. 45 Python (.py) files.
long－short－term－memory－networks－with python
08-31
Long Short-Term Memory Networks With Python Develop Sequence Prediction Models With Deep Learning Jason Brownlee
Long Short-Term Memory Networks With Python.pdf
06-02
**长短期记忆网络（LSTM）与Python** **前言** 本书《长短期记忆网络与Python》面向的数据科学家、学生和机器学习工程师，旨在通过深入浅出的方式介绍如何使用Python实现LSTM模型来解决序列预测问题。...
LSTM（Long Short-Term Memory）长短期记忆网络
01-24
LSTM（Long Short-Term Memory）是长短期记忆网络，是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。 LSTM 已经在科技领域有了多种应用。基于 LSTM 的系统可以学习翻译语言、控制...
Long Short-term Memory
09-18
Long short-term memory (LSTM) is a recurrent neural network (RNN) architecture that remembers values over arbitrary intervals. Stored values are not modified as learning proceeds. RNNs allow forward and backward connections between neurons. An LSTM is well-suited to classify, process and predict time series given time lags of unknown size and duration between important events. Relative insensitivity to gap length gives an advantage to LSTM over alternative RNNs, hidden Markov models and other sequence learning methods in numerous applications.
LSTM相关论文（中文加英文）
05-06
这是我自己学习时候整理的论文，可以下载以及看看LSTM的相关论文
LSTM原文章
11-10
清晰版LSTM原文章
Long Short-Term Memory Recurrent Neural Network Architectures for Large Scale Acoustic Modeling论文阅读
weixin_45459911的博客
06-06 1353
《Long Short-Term Memory Recurrent Neural Network Architectures for Large Scale Acoustic Modeling》论文阅读及补充 文章目录一、Abstractkey word二、Introduction三、网络结构1、传统LSTM2、Deep LSTM四、序列问题1、序列预测2、序列分类3、序列生成4、序列到序列的预测五、对LSTM的补充1、LSTM网络2、LSTM权重3、LSTM门4、LSTM的限制 一、Abstract 1、
＜3＞LSTM(Long Short-Term Memory)原文解读
weixin_42432619的博客
02-28 4770
原文：Long Short-T erm Memory，1997 作者：Sepp Hochreiter, Jürgen Schmidhuber 1.核心问题： 通过循环神经网络学习较长时间间隔的任务通常需要很长的时间，这是因为误差在反传的过程中表现了严重的不充分与衰减（常见就是误差爆炸或者消失，对应的训练结果就是出现严重的权重震荡或者需要很长时间也无法完成训练）。LSTM提出就是为了解决上述问题。 2.时变输入循环神经网络的相关研究（这部分描述的较为简略，细节难以把握）： 2.1 Gradient-
论文浅尝｜《Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification》
weixin_46111393的博客
04-20 1300
导读 这是一篇2016年的ACL论文，题目为《Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification》，介绍了基于注意力机制的双向长短时记忆关系分类网络。 这篇文章的代码开放可用，在https://paperswithcode.com/dataset/semeval-2010-task-8可以下载。 一、选题背景 关系分类是自然语言处理领域中一项重要的语义处理任务。但即使是目前最先进的
（长短时记忆网络 vs. 长短时记忆单元）论文阅读：long short term memory networks for machine reading
简单博客All In
03-28 1931
本文介绍长短时记忆网络论文的动机、思想和方法。它代替LSTM中的记忆单元，换成了以attention机制实现的memory networks。
论文笔记：Learning to Detect Violent Videos using Convolutional Long Short-Term Memory
Magical_Bubble的博客
12-06 1949
Learning to Detect Violent Videos using Convolutional Long Short-Term Memory阅读笔记，主要是对视频做暴力/非暴力的二分类，使用了convLSTM的方法，取得了不错的效果
long short-term memory pdf
最新发布
07-28
长短期记忆（long short-term memory）是一种用于建立和训练循环神经网络（Recurrent Neural Networks）的模型，也是一种用于处理序列数据的有效方法。长短期记忆是循环神经网络的一种变种，通过引入门控机制解决了普通循环神经网络中遇到的梯度消失和梯度爆炸的问题。 长短期记忆的核心结构是记忆单元（memory cell），它具有输入门（input gate）、遗忘门（forget gate）和输出门（output gate）三个关键组件。输入门负责决定新的输入信息会被存储到记忆单元中的哪些位置上，遗忘门负责控制哪些过去的记忆应该被遗忘，输出门负责控制从记忆单元中输出的信息。 长短期记忆通过这些门控制记忆单元中的信息流动，可以保留对重要信息的长期记忆，同时也能够快速地遗忘不重要的信息。这种机制使得长短期记忆在处理长序列数据时更加有效，能够捕捉到序列中的长期依赖关系。 长短期记忆的训练使用的是反向传播算法，通过最小化损失函数来更新网络的权重参数。在训练过程中，长短期记忆可以自动学习到序列数据中的模式和规律，从而可以实现对序列数据的预测和生成。 长短期记忆在自然语言处理、语音识别、时间序列预测等领域有着广泛的应用。相比于其他循环神经网络的变种，长短期记忆能够更好地处理长序列数据中的记忆和依赖关系，取得了很好的效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值