什么是长短时记忆网络(LSTM)

最新推荐文章于 2024-07-27 19:53:15 发布
最新推荐文章于 2024-07-27 19:53:15 发布
阅读量226 收藏 1
点赞数
分类专栏： 深度学习专栏 机器学习专栏 人工智能学习专栏 文章标签： lstm 人工智能 rnn
原文链接：https://blog.csdn.net/qq_44731019/article/details/128012655
版权
长短时记忆网络（LSTM）是对RNN的改进，引入了门控机制以解决RNN的长期依赖问题。遗忘门、输入门和输出门分别负责保留、添加和输出信息，增强模型记忆能力。GRU作为LSTM的一种简化变体，拥有更新门和重置门，计算效率高且效果接近LSTM。
摘要由CSDN通过智能技术生成

什么是长短时记忆网络(LSTM)

RNN有一定的记忆能力，但不幸的是它只能保留短期记忆，在各类任务上表现并不好，那该怎么办?

人们将目光投向了自己，人类的记忆是有取舍的，我们不会记住每时每刻发生的所有事，会有选择的留下重要的，丢掉不重要的。

参考这种记忆机制，人们改造了RNN中使用的“小盒子”，并找到了“门”这种机制，门是用来决定信息如何保留的小开关，它的数值在0-1之间，1是完全保留，0是完全舍弃。

新的小盒子上有三个门

  1. 其中遗忘门决定了小盒子里要保留多少原有信息，也就是丢掉哪些不重要记忆
  2. 输入门决定了当前网络信息有多少要被保存到小盒子里，也就是记住哪些新东西
  3. 输出门决定了多大程度的输出小盒子中的信息

经过改造的小盒子，既能通过输入门对当前网络状态有所了解，又能利用遗忘门留下过往的重要信息，这就是LSTM-长短时记忆模型。

请添加图片描述

通过改变小盒子的结构，LSTM还有很多变体，如MGU、SRU。

不过最受欢迎的还是门控循环单元GRU。GRU只有两个门，更新门是遗忘门和输入门的结合体，决定丢弃哪些旧信息，添加哪些新信息，重置门决定写入多少上一时刻网络的状态，用来捕捉短期记忆，结构更简洁，计算更高效，效果又与LSTM不相上下，GRU正变得越来越流行。

请添加图片描述
FL1623863121
关注
专栏目录
订阅专栏
长短时记忆网络(LSTM)
猫敷雪
11-06 1603
往期回顾 在上一篇文章中，我们介绍了循环神经网络以及它的训练算法。我们也介绍了循环神经网络很难训练的原因，这导致了它在实际应用中，很难处理长距离的依赖。在本文中，我们将介绍一种改进之后的循环神经网络：长短时记忆网络(Long Short Term Memory Network, LSTM)，它成功的解决了原始循环神经网络的缺陷，成为当前最流行的RNN，在语音识别、图片描述、自然语言处理等许多领域中...
长短时记忆网络（LSTM）
马飞飞的博客
11-25 1万+
LSTM的引入 *虽然RNN的训练过程和多层神经网络差异不大，写程序较简单，但是Rnn的训练是十分困难的，而且很难学到长期依赖，因为当对参数进行求导更新时，式子中会使用链式法则不断乘积和求导，如在对参数w更新的式子中，会需要使用链式法则，这样当对一个变量针对变量函数求导时，会得到一个雅可比矩阵，这样就会出现两个问题。       [1].如果雅可比阵中有较小数时，经过多次矩阵相乘，梯度值会快速...
长短期记忆网络（LSTM）
最新发布
qq_58317297的博客
07-27 840
（2）如果遗忘门始终为1且输入门始终为0， 则过去的记忆元𝐶𝑡−1 将随时间被保存并传递到当前时间步。输出门接近1，我们就能够有效地将所有记忆信息传递给预测部分， 而对于输出门接近0，我们只保留记忆元内的所有信息，而不需要更新隐状态。由三个具有sigmoid激活函数的全连接层处理， 以计算输入门、遗忘门和输出门的值。（1）输入门𝐼𝑡控制用多少来自𝐶𝑡的新数据， 而遗忘门𝐹𝑡控制保留多少过去的记忆元𝐶𝑡−1的内容。1、长短期记忆网络有三种类型的门：输入门、遗忘门和输出门。（2）遗忘门：重置单元的内容。
长短时记忆网络（Long-Short Term Memory）
qq_42578970的博客
01-22 516
LSTM时RNN的变种，用于处理预测这个神经元的信息的辅助信息相距太远的情况，例如： I'm a student and I need to __ 预测这个空，student就是辅助信息，很容易找到，但对于下面这句话 I grow up in France...,so I can speak fluent __ 假设中间的省略部分特别长，且与他的语言学习无关，那么France就是辅助信息，但相隔太远，传统的RNN就难以得出正确结果。 基本实现思路 传统的隐藏层节点只有一个状态：H，而LSTM多了
基于长短时记忆(LSTM)神经网络的黄河中游洪水过程模拟及预报.pdf
09-25
"基于长短时记忆(LSTM)神经网络的黄河中游洪水过程模拟及预报" 本文研究基于长短时记忆（LSTM）神经网络的黄河中游洪水过程模拟及预报，旨在提高黄河中游地区洪水预报的精度。通过建立不同预见期下的流域暴雨洪水...
零基础入门深度学习(6) - 长短时记忆网络(LSTM)1
08-03
【长短时记忆网络(LSTM)】是深度学习中一种特殊的循环神经网络（RNN）变体，设计用于解决传统RNN在处理长序列数据时遇到的梯度消失和梯度爆炸问题。LSTM通过引入“门”机制，使得网络能够有效地记住长期依赖信息，...
【LSTM预测】基于双向长短时记忆BiLSTM（多输入单输出）数据预测含Matlab源码.zip
04-01
基于双向长短时记忆BiLSTM（多输入单输出）数据预测含Matlab源码.zip”表明我们即将讨论的是一个利用Matlab实现的预测模型，具体是基于双向长短时记忆（Bidirectional Long Short-Term Memory, BiLSTM）网络的多输入...
深度学习之基础模型——长短时记忆网络LSTM
m0_61787307的博客
04-22 1015
这样做的原理在于，“短期记忆”和“新记忆”拼接起来形成的新张量，如果值比较小说明该记忆不重要，不重要就会被 sigmoid 赋予更接近于 0 的权重，反之则会赋予更接近于 1 的权重。LSTM 的初衷也是如此，通过一些手段使得重要的信息得以保留，而不重要的信息被抛弃，使得重要的信息所占“记忆”的“比重”变高。而“短期记忆线”，顾名思义，主要是汇集短期时间内的输入信息，并根据其重要程度，将重要的传给“长期记忆线”，而将不重要的抛弃，这样“长期记忆线”就能够更好地维持其所拥有的信息更加有效。
长短时记忆神经网络（LSTM）
Medlen
09-24 1万+
下面为翻译文章，会稍有增删： 原文：http://colah.github.io/posts/2015-08-Understanding-LSTMs/ 其他人的翻译：https://www.xiemingzhao.com/posts/eff2088e.html 类似的文章：https://www.jianshu.com/p/8219ca28925e 循环神经网络 人类不会每秒都从头开始思考。 阅读本文时，您会根据对先前单词的理解来理解每个单词。 您不会丢掉一切，重新从头开始思考。 传统的神经网络无法做到这一
【机器学习】长短时记忆网络（LSTM）
weixin_42301220的博客
04-21 7324
文章目录1. 基本概念2. 长短时记忆网络的前向计算2.1 门2.2 遗忘门 1. 基本概念 长短时记忆网络(Long Short Term Memory Network, LSTM)，它成功的解决了原始循环神经网络的缺陷，成为当前最流行的RNN，在语音识别、图片描述、自然语言处理等许多领域中成功应用。 原始RNN无法处理长距离依赖，原始RNN的隐藏层只有一个状态，即h，它对于短期的输入非常敏感。 长短时记忆网络在RNN的基础上再增加一个状态c，让它来保存长期的状态。 新增加的状态c，称为单元状态(cel
NLP学习笔记（四）：长短时记忆网络
u011426236的博客
04-08 493
长短时记忆网络（Long Short Term Memory (LSTM)） LSTM 模型 LSTM模型是RNN 模型的改进，可以避免梯度消失的问题，有更长的记忆。 LSTM也是一种循环神经网络，每当读取一个输入x就会更新状态h。LSTM的结构比简单RNN要复杂很多，简单RNN只有一个参数矩阵，LSTM有四个参数矩阵。下面我们具体来看LSTM的内部结构。 LSTM最重要的设计是传输带，记为向量CCC，过去的信息通过传送带直接送到下一个时刻，不会发生太大的变化，LSTM就是靠传输带来避免梯度消失的问题。
长短时记忆网络(LSTM)(超详细 |附训练代码)
热门推荐
qq_73462282的博客
08-02 5万+
那么，从这个时刻开始再往之前走，得到的梯度（几乎为零）就不会对最终的梯度值有任何贡献，这就相当于无论t-3时刻之前的网络状态h是什么，在训练中都不会对权重数组W的更新产生影响，也就是网络事实上已经忽略了t-3时刻之前的状态。由于遗忘门的控制，它可以保存很久很久之前的信息，由于输入门的控制，它又可以避免当前无关紧要的内容进入记忆。LSTM的前向计算都这么复杂，那么，可想而知，它的训练算法一定是非常非常复杂的。从上面的代码我们可以看到，门的计算都是相同的算法，而门和的计算仅仅是激活函数不同。
长短时记忆网络LSTM
qq_45738095的博客
05-24 1433
长序列依赖问题：在传统的循环神经网络（RNN）中，随着序列长度的增加，梯度在反向传播过程中可能会变得非常小（梯度消失）或非常大（梯度爆炸），导致模型难以学习到长距离的依赖关系。请注意，这只是一个简化的例子，实际的股票市场预测会更加复杂，并需要考虑更多的因素。以下是使用Python和Keras库构建一个简单的LSTM模型的例子，这个模型将用于文本分类任务，即根据输入的文本将文本分类到不同的类别中。在创作诗歌、故事或新闻文章时，LSTM可以根据给定的文本序列生成新的文本内容，模仿特定作者的风格或创造新的内容。
什么是长短时记忆（LSTM）？
05-10
长短时记忆（LSTM）是一种特殊的循环神经网络，用于处理序列数据。LSTM能够避免传统循环神经网络中的梯度消失问题，并且可以在长序列中保持长期记忆。它通过三个门来控制信息流的输入、输出和遗忘，从而实现对序列...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值