长短期记忆网络（LSTM）是什么怎么工作的呢？

已于 2023-01-05 16:54:45 修改
阅读量605 收藏
点赞数
分类专栏： DeepLearning 文章标签： lstm 深度学习 rnn
于 2022-12-03 12:28:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43920520/article/details/127895086
版权

深度学习系列

第一篇 局部最优点+鞍点+学习率的调节
第二篇 并行计算 深度学习 机器学习
第三篇 长短期记忆网络（LSTM）是什么怎么工作的呢？

文章目录

前言

LSTM，全称Long Short-Term Memory，可以说是RNN的一个进阶的版本，它们都是考虑了过去时间点的数据，综合调整当前的网络参数。我们现在说使用了RNN，一般指的就是使用了LSTM，而普通的RNN，应该叫SimpleRNN。

一、SampleRNN其实有不同的形式

简单的例如下面的Elman network 或者 Jordan network。它们都是简单的RNN，但是形式有所不同。不同点在于传入下一个的RNNCell的参数不一样，Elman Network是hidden层的输出作为下一层的输入，而Jordan Network是上一层最终的输入作为输入。
sampleRNN
就如下图，对于1层的RNN，序号1指的是hidden层的输出，而序号2才是最终的output输出。
在这里插入图片描述

二、LSTM基本知识

1. 为什么使用LSTM？

先来看RNN的缺点

RNN的关键点就是他们可以用来连接先前的信息到当前的任务上。例如我们使用RNN去给句子填词，假如我们试着预测 “the clouds are in the sky” 最后的词sky，我们并不需要任何其他的上下文，下一个词很显然就应该是 sky。在这样的场景中，相关的信息和预测的词位置之间的间隔是非常小的，普通RNN 可以学会使用先前的信息。但是!! 在一些更加复杂的场景。如我们去预测“I grew up in France , … ,I speak fluent French”最后的词French。我们需要知道前文对应是什么国家，我们是需要用到离当前位置很远的 France 的上下文的。但是中间…说明有很多其他句子，这使得French和France的间隔很大。在间隔不断增大时，SimpleRNN会丧失学习到连接如此远的信息的能力。

另外一个点就是RNN有梯度消失的缺点，但是笔者认为这个缺点和上面那个缺点是有共通性的。首先，我们说的梯度消失，指的是到了深处梯度消失，在浅一点的位置并不会消失，也正是深处的梯度消失了，浅位置对于深位置的依赖关系难以学到（更新不了）。

RNN为什么会梯度消失/爆炸

主要是在反向传播的过程中，有了连乘。如下图，这是去推导公式的后，把结果整理写成通式。我们可以看到主要是hidden在求导的时候是连乘
RNN的梯度
而LSTM不一样，他往下传播当前状态的时候，除了hidden，还假如了cell（记忆细胞，也就是C），而C在更新的时候，采用了加法！！！！如下图，这就是最重点的！我们去求梯度的时候，有一部分是通过hidden这个中间节点（通俗说法，就是链式求导一个节点）去求梯度，但是还有一部分是通过C这个中间节点去求的，hidden部分还是会有梯度消失的问题，但是C部分求导后，其中的式子有LSTM中几个门对应的权重，我们可以调整门的权重，去控制C部分的梯度，所以C+hidden的总梯度就不会太小。（所以说LSTM加了门机制是重要的不同点）

LSTM更新

具体的推导过程可以看这个视频：大白话讲解LSTM长短期记忆网络 如何缓解梯度消失，手把手公式推导反向传播

这里也有一篇在公式上给出过程的博客：
LSTM缓解梯度消失的原因

2.LSTM做了什么？

LSTM基本架构上图是LSTM的一个基本单元，它有4个输入，分别对应3个门和一个输入值，这3个门都有对应的权重矩阵相乘，也有相应的激活函数。这个激活函数一般为sigmoid，使用它能让门的输出值为基本为0或者1，也就意味着门是关闭还是打开。（0和输入值相乘为0，说明输入门是关闭的）

具体过程是；输入值Z和其权重相乘后做tanh函数激活，乘是输入门Zi计算的值（0或者1），Zi也是乘相应矩阵再激活，此时输入门和输入值相乘后为g(z)f(zi)，而遗忘门Zf中的计算的数值为f(zf) 会和记忆细胞Cell中的值c相乘再加上g(z)f(zi)，如果f(zf) 为0，说明会遗忘以前的Cell中的值，如果为1，Cell中的值会被更新，然后再做激活。最后是输出门计算后的值f(z0),这个值乘上h(c’)，作为输出。

LSTM激活函数图

当多个LSTM基本单元连起来后，就是我们下面这种结构，这个图是核心，必须看懂。我们可以看到每个单元的C（存储单元的值）和h（hidden层的值）都会往下一个单元传递。具体的传递过程，我觉得可以参考这篇文章：时序数据处理模型：RNN与LSTM总结

有个易混淆的点：

  • 输出门没有控制存储细胞Ct的输出，控制的是hidden层的输出。
    LSTM多个基本单元连起来

3.LSTM的缺点

LSTM有一个缺点就是比起普通的neural network，它的参数多，因为它需要多个门来控制参数的变化，每个门都有对应的w和输入的值相乘，相当于有4倍的参数量。这些W的值也是通过gradient descent去更新

三、LSTM Pytorch基本代码实现资料

可能初学者比较乱的地方的，各种参数的设置和理论的对应关系，我找到的这篇文章应该算比较清楚地说明了他们的关系。
pytorch lstm input_size, hidden_size说明

四、Reference

Understanding LSTM Networks
理解 LSTM 网络

总结

以上就是我个人对LSTM的理解，希望配合上其他文章，能让初学者更容易理解。如果觉得有用，请大家点赞支持！！！！。

GDUT 小胖鱼
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
LSTM的工作原理分析
ip5108的博客
05-03 1386
简述LSTM的工作原理。它是如何记住文本的？ 下面分析LSTM工作原理： 存储单元中管理向单元移除或添加的结构叫门限，有三种：遗忘门、输入门、输出门。门限由sigmoid激活函数和逐点乘法运算组成。前一个时间步骤的隐藏状态，一个送到遗忘门（输入节点），一个送到输入门，一个送到输出门。就前传递而言，输入门学习决定何时让激活传入存储单元，而输出门学习合适让激活传出存储单元。相应的，对于后传递，输出门...
LSTM工作原理和机制详解
数据饕餮
04-02 1万+
转自http://www.jianshu.com/p/9dc9f41f0b29 上面这篇长博文，作者真心花了很多心血来创作，写的详细，易懂，对于学习lstm有很大的帮助。 读完后我觉得要理解几个门的作用，文中作者提到的三个例子恰到好处。个人认为这三个例子是弄明白lstm的关键。 忘记门： 作用对象：细胞状态 作用：将细胞状态中的信息选择性的遗忘 让我们回到语言模型的例子中来基于已经看到...
PSO优化LSTM网络参数预测时间序列：隐藏层单元、批处理、时间窗口大小、学习率，PSO优化LSTM网络参数以实现准确的时间序列预测
zhcxLERvew的博客
06-26 495
实验结果表明，所提出的方法在时间序列预测任务中具有较好的效果，为机器学习领域的时间序列预测问题提供了一种有效的解决方案。然后，我们根据适应度函数的取值来更新粒子的速度和位置，以逐步接近最优解。一种常用的更新规则是惯性权重法，其中粒子的速度受到粒子自身的历史速度和当前位置以及群体中最优解的影响。然后，在每次迭代中，我们将根据适应度函数的取值来更新粒子的速度和位置，并记录群体中最优解对应的参数设置。PSO优化LSTM做时间序列的预测，优化的是隐藏层单元数目，批处理大小，时间窗口大小，学习率等网络参数。
【LSTM】深入浅出讲解长短时记忆神经网络（结构、原理）
热门推荐
程序星空实验室
05-26 4万+
1、LSTM的背景介绍 长短时记忆神经网络（Long Short-term Memory Networks，简称LSTM）是特殊的RNN，尤其适合顺序序列数据的处理，LSTM 由 Hochreiter & Schmidhuber (1997) 提出，并在近期被 Alex Graves 进行了改良和推广，LSTM明确旨在避免长期依赖性问题，成功地解决了原始循环神经网络的缺陷，成为当前最流行的RNN，在语音识别、图片描述、自然语言处理等许多领域中成功应用。 2、RNN的不足 图...
深度学习--LSTM（长短时记忆网络）原理详解
wenqiwenqi123的博客
06-19 1万+
上篇文章介绍了GRU，建议不太了解RNN和GRU的同学看看我上一篇文章：https://blog.csdn.net/wenqiwenqi123/article/details/80707810这篇来说一说LSTM，这两个最大的不同之处在于LSTM多了一个门。GRU有update gate（更新门）、reset gate（重置门）。而LSTM有三个门，update gate（更新门），forget ...
长短时记忆网络(Long Short Term Memory，LSTM)详解
weixin_60737527的博客
10-01 1万+
长短时记忆网络(LSTM)基本原理与基于Pytorch的实现方法。
长短期记忆网络回归LSTM数据回归算法
02-20
长短期记忆网络回归LSTM数据回归算法 长短期记忆网络回归LSTM数据回归算法 长短期记忆网络回归LSTM数据回归算法 长短期记忆网络回归LSTM数据回归算法 长短期记忆网络回归LSTM数据回归算法 长短期记忆网络回归...
基于长短期记忆 (LSTM) 网络对序列数据进行分类
06-30
LSTM 长短期记忆 序列数据分类 神经网络 深度学习
长短期记忆网络回归预测LSTM
04-08
长短期记忆网络回归预测LSTM长短期记忆网络回归预测LSTM长短期记忆网络回归预测LSTM长短期记忆网络回归预测LSTM长短期记忆网络回归预测LSTM长短期记忆网络回归预测LSTM长短期记忆网络回归预测LSTM长短期记忆网络回归...
简单理解LSTM长短期记忆网络
01-06
LSTM(Long Short Term Memory，长短期记忆网络)介绍 介绍：LSTM，也就是长短期记忆网络，是一种 RNN 特殊的类型，可以学习长期依赖信息。要想较好理解LSTM请先查看之前写的RNN的简单理解文章。在传统RNN训练经常会...
基于长短期记忆(LSTM)网络的心电图（ECG ）信号分类
最新发布
07-04
长短期记忆网络 LSTM RNN 心电图 ECG
长短时记忆网络LSTM(基本理论)
weixin_43282288的博客
10-30 482
为了解决RNN中出现的问题(梯度消失和弥散)，所以有LSTM长短时记忆网络 总体框架 将LSTM分为一小部分一小部分 RNN最大的问题就是不会忘记，LSTM会决定，选择有价值的保留，没价值的舍弃，需要设定控制参数。 比如[0,0.5,1]，0舍弃，0.5部分保留，1保留，那么C是如何做到的？ x号表示门，sigmoid和乘的操作 整个LSTM网络 ...
LSTM Networks原理及实战
Peter_Changyb的博客
03-18 1201
RNN 介绍 循环神经网络（Recurrent Neural Network，RNN）是一类专门用于处理时序数据样本的神经网络，它的每一层不仅输出给下一层，同时还输出一个隐状态，给当前层在处理下一个样本时使用。就像卷积神经网络可以很容易地扩展到具有很大宽度和高度的图像，而且一些卷积神经网络还可以处理不同尺寸的图像，循环神经网络可以扩展到更长的序列数据，而且大多数的循环神经网络可以处理序列长度不同的...
长短时记忆网络(LSTM)
devil_son1234的博客
04-13 1241
长短时记忆网络是啥 长短时记忆网络的思路比较简单。原始RNN的隐藏层只有一个状态，即h，它对于短期的输入非常敏感。那么，假如我们再增加一个状态，即c，让它来保存长期的状态，那么问题不就解决了么？如下图所示： 新增加的状态c，称为单元状态(cell state)。我们把上图按照时间维度展开： 上图仅仅是一个示意图，我们可以看出，在t时刻，LSTM的输入有三个：当前时刻网络的输入值、上一...
从RNN到LSTM，性能良好的神经网络到底是如何工作的？
weixin_40581617的博客
04-03 707
课程主讲简介： 于恒，阿里巴巴机器智能技术实验室技术专家，中科院计算所博士，研究方向是机器翻译，在自然语言处理和人工智能领域顶级国际会议ACL、EMNLP、COLING等发表多篇论文。曾在三星中国研究院和搜狗负责机器翻译工作，参与上线搜狗翻译和搜狗海外搜索等产品。目前在阿里翻译平台组担任Tech-leader，主持上线了阿里神经网络翻译系统，为阿里巴巴国际化战略提供丰富的语言支持。
深度学习十大算法之长短时记忆网络（LSTM）
第欧根尼的酒桶的博客
03-23 2188
长短时记忆网络（LSTM）是一种特殊类型的循环神经网络（RNN），主要用于处理和预测序列数据的任务。LSTM由Hochreiter和Schmidhuber于1997年提出，其设计的初衷是为了解决传统RNN在处理长序列数据时面临的梯度消失或爆炸问题。LSTM网络通过特殊的结构设计，能够在长期间隔内有效地保持信息，因此在处理具有长距离依赖的序列数据时表现出色。
LSTM原理与结构
weixin_43646592的博客
04-16 1265
 LSTM - 长短期记忆网络，特殊的RNN，能够学习长依赖关系。结构原理也十分的简单易懂。  先来看看RNN和LSTM长啥样先，不急~~ 标准的RNN长这个样： 而标准的LSTM长这个样： 下面对图里的一些组件说明：依次是神经网络层、向量点积/向量乘法…  我们称下图中的一个绿色框为一个cell（细胞），那么图中最上面那条黑线，是细胞状态（可以理解为一些有用的信息）的传输通道，然后经过这条通道上的红色圆圈，相当于对上一步的细胞状态进行加个整改，然后输出这一步的细胞状态。 下面解剖一下细胞里的结构以
长短期记忆网络（LSTM）和门控循环单元（GRU）算法详解
极光喵的博客
03-07 1960
分别是更新门的权重矩阵和偏置。由于输入门、遗忘门和输出门都是由Sigmoid函数变换得到的，它们的取值范围在0和1之间，因此可以有效地控制信息的流动和梯度的传递。这两个门控单元可以学习在每个时间步如何调整输入信息和上一个时间步的隐藏状态信息的重要程度，某种程度上可以看作有选择性的记忆当前时刻的输入和上一时刻的隐藏状态。总结一下，LSTM（Long Short-Term Memory）网络可以优化梯度传播不稳定的问题，主要是因为它们的设计允许信息在多个时间步长上有效地流动，而不受梯度消失或爆炸的影响。
LSTM神经网络介绍
weixin_42973814的博客
05-07 1万+
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录引言一、介绍1.1什么是LSTM?1.2基础知识1.2.1门控机制1.2.2 相关激活函数1.2.3网络参数介绍二、LSTM网络架构2.1架构图三、LSTM的门3.1遗忘门3.2输入门3.3输出门四、LSTM的简单实例参考 引言 传统的神经网络在处理与事件发生的时间轴有关系的问题时，如果需要联系并考虑上下文的时候就无能为力了，比如语音识别，机器翻译，时间序列等，因为他们的输出只是由当前的输入决定。所以就提出了RNN，了解RNN基.
7、长短期记忆网络lstm是如何实现长短期记忆功能的?
06-12
LSTM（Long Short-Term Memory）长短期记忆网络是一种常用的循环神经网络（RNN）结构，它的特点是可以在处理长序列时有效地防止梯度消失或梯度爆炸问题，从而能够更好地捕捉序列中的长期依赖关系。LSTM通过引入三个门（输入门、遗忘门和输出门）来控制信息的流入和流出，从而实现了长短期记忆的功能。 具体来说，LSTM中的一个单元包含一个记忆细胞（memory cell）和三个门：输入门（input gate）、遗忘门（forget gate）和输出门（output gate）。输入门控制着新输入的信息是否需要加入到记忆细胞中，遗忘门控制着记忆细胞中的信息何时需要被遗忘，输出门决定着记忆细胞中的信息是否需要输出到下一层或输出层。 LSTM的计算流程包含以下几个步骤： 1. 输入门的计算：通过一个sigmoid函数计算输入门的开启程度，来控制新输入的信息是否会进入到记忆细胞中。 2. 遗忘门的计算：通过一个sigmoid函数计算遗忘门的开启程度，来控制哪些旧的信息需要被保留在记忆细胞中。 3. 更新记忆细胞：根据输入门和遗忘门的计算结果，对记忆细胞进行更新。 4. 输出门的计算：通过一个sigmoid函数计算输出门的开启程度，来控制哪些信息需要输出到下一层或输出层。 5. 计算输出：根据输出门的计算结果和记忆细胞的当前状态，计算当前时刻的输出。 通过以上的计算过程，LSTM可以有效地实现长短期记忆功能，从而能够更好地处理长序列数据。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值