理解长短期记忆网络

已于 2024-06-22 23:44:27 修改
阅读量533 收藏 1
点赞数
分类专栏： 人工智能 文章标签： 神经网络
于 2020-03-13 22:33:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42806204/article/details/107281793
版权

Understanding LSTM Networks

9.2. 长短期记忆网络（LSTM）

目录

循环神经网络

长短期记忆网络

长短期记忆网络背后的核心思想

长短期记忆一步步讲解

忘记

记住

更新

输出

长短期记忆的变体

peephole连接

coupled 忘记和输入门

Gated Recurrent Unit

循环神经网络

展开循环神经网络

The Unreasonable Effectiveness of Recurrent Neural Networks
理论上，循环神经网络完全可以掌控“长句依赖”，可以人为的选择好的参数。
但实践证明，循环神经网络看起来不能学习长句。
长短期记忆没有这个问题

长短期记忆网络

长短期记忆网络是一种特殊的循环神经网络，可以解决长句依赖问题。

 
一个标准循环神经网络中的重复模块包含一个单层
 
长短期记忆网络中的重复模块包含四个交互层
 
符号
 

在上面的图中，每一行都携带一个完整的向量，从一个节点的输出到其他节点的输入
粉红色的圆圈表示逐点操作，比如向量加法
黄色的方框表示learned神经网络层
行合并表示连接
行分叉表示内容被复制和被复制的内容去向不同位置

长短期记忆网络背后的核心思想

长短期记忆网络的关键是单元状态，即贯穿图顶部的水平线。
长短期记忆网络确实能够删除单元状态的信息或添加信息到单元状态，这是由称为门的结构仔细控制的。
门是一种可选地让信息通过的方法。它们由sigmoid神经网络层和逐点乘法运算组成。
sigmoid层输出0到1之间的数字，描述每个component应该允许通过的数量。
0的值表示“不让任何东西通过”
1的值表示“让所有东西通过!”

长短期记忆一步步讲解

忘记

决定要从单元状态中丢弃什么信息。
这个决定是由一个叫做“忘记门”的sigmoid层做出的。
1表示“完全保留这个”
0表示“完全丢弃这个”

 
根据上一时刻的单元状态的输出和当前时刻的输入决定忘记多少旧的

记住

决定要在单元格状态中记住什么新信息。
1、一个名为“输入门层”的sigmoid层决定要更新哪些值。
2、tanh层创建一个新的候选值向量，可以将其添加到状态中。

 
记住什么新的

更新

更新单元状态

输出

决定要输出什么
此输出将基于单元状态，但将是经过筛选的版本。
1、运行一个sigmoid层，它决定我们要输出的单元状态的哪些部分
2、把单元状态输入到tanh(将值推到-1和1之间)，将其乘以sigmoid门的输出
这样只输出决定要输出的部分。

 
输出什么

长短期记忆的变体

peephole连接

Gers & Schmidhuber (2000)
添加peephole连接，门层观察单元状态
图中在所有的门上都加了窥视孔
但是很多论文只会给出一些窥视孔，而不会给出其他的。

peephole连接

coupled 忘记和输入门

不是单独决定忘记什么和应该添加什么新信息，而是一起做这些决定。
当且仅当要记住什么的时候才会忘记
当且仅当要忘记什么的时候才会记住

 
coupled 忘记和输入门

Gated Recurrent Unit

Cho, et al. (2014)
将忘记和输入门组合成一个“更新门”。
它还融合了单元状态和隐藏状态，并做了一些其他的改变。
得到的模型比标准长短期记忆模型更简单，并且越来越流行。

Gated Recurrent Unit

zzz的学习笔记本
关注
专栏目录
长短期记忆网络(LSTM)
xi_xiyu的博客
01-26 2498
一．摘要 门控制循环单元是为了解决循环神经网络短期记忆问题提出的解决方案，它们引入称作“门”的内部机制，可以调节信息流。在上次的内容分享中，我们简单解析了名称为GRU的门控制循环单元。因为“门”的机制，我们还可以在此基础上创新出性能更优的循环单元。本次分享的内容也是基于GRU循环单元的强化版：长短期记忆网络(long short-term memory，LSTM)门控制循环单元。 图1 ：LSTM和GRU结构图 二．长短期记忆(LSTM) 通过图1可以很明显的发现LSTM比GRU“门”的数量..
长短期记忆网络入门笔记
专栏
11-19 80
http://karpathy.github.io/2015/05/21/rnn-effectiveness/ http://colah.github.io/posts/2015-08-Understanding-LSTMs/
长短期记忆网络（Long Short-Term Memory，LSTM）
weixin_43156294的博客
05-29 1078
长短期记忆网络（Long Short-Term Memory，LSTM）是一种特殊的循环神经网络（Recurrent Neural Network，简称RNN）。LSTM的设计初衷是为了解决传统RNN在处理长序列数据时的梯度消失或梯度爆炸问题，使得网络能够学习到长期依赖关系。
长短期记忆网络（LSTM）
最新发布
qq_58317297的博客
07-27 844
（2）如果遗忘门始终为1且输入门始终为0， 则过去的记忆元𝐶𝑡−1 将随时间被保存并传递到当前时间步。输出门接近1，我们就能够有效地将所有记忆信息传递给预测部分， 而对于输出门接近0，我们只保留记忆元内的所有信息，而不需要更新隐状态。由三个具有sigmoid激活函数的全连接层处理， 以计算输入门、遗忘门和输出门的值。（1）输入门𝐼𝑡控制用多少来自𝐶𝑡的新数据， 而遗忘门𝐹𝑡控制保留多少过去的记忆元𝐶𝑡−1的内容。1、长短期记忆网络有三种类型的门：输入门、遗忘门和输出门。（2）遗忘门：重置单元的内容。
神经网络的长短期记忆网络
程序员光剑
03-20 870
数据并行能力较差: LSTM难以高效并行计算,限制了大规模应用。选择合适的LSTM结构: 对不同任务选择最优LSTM变体结构仍有一定挑战。记忆容量有限: LSTM仍有记忆能力的上限,处理极长序列时表现不佳。高性能LSTM: 如简化 Gate 结构、增加 Forget Gates 个数等,以提升计算能力。Transformer等全新架构: 如Transformers等全新架构逐渐取代LSTM。生物学启发的新型网络结构: 借鉴生物系统的新思路,设计新型神经网络。
简单理解LSTM长短期记忆网络
01-06
LSTM(Long Short Term Memory，长短期记忆网络)介绍 介绍：LSTM，也就是长短期记忆网络，是一种 RNN 特殊的类型，可以学习长期依赖信息。要想较好理解LSTM请先查看之前写的RNN的简单理解文章。在传统RNN训练经常会...
基于注意力机制的双向长短期记忆网络的关系分类.zip
02-06
标题 "基于注意力机制的双向长短期记忆网络的关系分类" 指向的是一个深度学习模型，该模型在自然语言处理（NLP）领域用于关系抽取。关系抽取是信息抽取的一个子任务，它从文本中识别出实体之间的关系，如人物与事件...
基于循环神经网络CNN+长短期记忆网络的锂离子电池SOC估计方法
07-05
标题提到的“基于循环神经网络CNN+长短期记忆网络的锂离子电池SOC估计方法”就是这样一个深度学习应用实例。下面将详细解释这一技术及其实施过程。 首先，锂离子电池的SOC估计是电池管理系统（Battery Management ...
LSTM（Long Short-Term Memory）长短期记忆网络
01-24
LSTM（Long Short-Term Memory）是长短期记忆网络，是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。 LSTM 已经在科技领域有了多种应用。基于 LSTM 的系统可以学习翻译语言、控制机器人、图像分析、文档摘要、语音识别图像识别、手写识别、控制聊天机器人、预测疾病、点击率和股票、合成音乐等等任务。本文档是基于LSTM原理的简单实现，有助于理解其原理。
用Python的长短期记忆神经网络进行时间序列预测
08-14
在本文中，我们将深入探讨如何使用Python中的长短期记忆（LSTM）神经网络进行时间序列预测。LSTM是一种特殊的递归神经网络（RNN），它特别适合处理具有长期依赖性的序列数据，如时间序列预测问题。 首先，我们需要...
分类预测 - MATLAB实现LSTM(长短期记忆神经网络)分类预测（完整源码和数据）
06-01
在本项目中，我们主要探讨的是如何利用MATLAB来实现基于LSTM（长短期记忆神经网络）的分类预测。LSTM是一种特殊的循环神经网络（RNN），特别适用于处理具有时间序列特性的数据，如时间序列预测和自然语言处理。在这...
长的短期记忆网络
justisme的博客
07-23 151
RNN中参数就是W，需要学到的东西很多，W过载，只能记住最近的信息。 一个句子必不可少的操作就是分词，一直传递到最后，这就意味着最后的结果包含整个句子的信息。 LSTM的最后一个输出值作为多层神经网络的输入。。。。 CNN用于文本分类，需要进行一些妥协(因为一般的句子有时候长，有时候短，没法构造一个固定的图像，所以需要将输入...
长短期记忆（Long Short-Term Memory, LSTM）网络
m0_51200050的博客
06-26 951
通过解缠结注意力机制，我们将单词的内容和位置独立表示，并分别计算它们的注意力矩阵。然后，将这两个注意力矩阵结合起来，得到最终的注意力矩阵。这种方法使模型能够更好地捕捉单词之间的语义关系和相对位置关系，从而提高模型的表现。这种方法在实际应用中，尤其是在自然语言处理任务中，可以帮助模型更准确地理解和生成语言，同时增强其对上下文的捕捉能力。
长短期记忆网络（Long Short-Term Memory networks, LSTM）
热门推荐
weixin_39910711的博客
06-05 1万+
如何简单的理解LSTM——其实没有那么复杂：
长短时记忆网络 Long Short-Term Memory ｜ LSTM
JasonH2021的博客
07-08 2226
简单介绍了长短时记忆网络的基本概念，优缺点，应用场景，建模过程，实现的类库方法和代码案例等
长短期记忆网络和双向长短期记忆网络
06-13
长短期记忆网络（Long Short-Term Memory, LSTM）是一种特殊的递归神经网络，它被设计用来解决传统RNN中长期依赖性信息难以保存的问题。LSTM通过引入三个门控单元（输入门、遗忘门和输出门）来控制信息的流进流出，...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

zzz的学习笔记本

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值