LSTM 单元的理解

最新推荐文章于 2024-03-07 13:03:52 发布
最新推荐文章于 2024-03-07 13:03:52 发布
阅读量3.5k 收藏 21
点赞数 10
分类专栏： 深度学习算法 文章标签： 深度学习 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012863603/article/details/118407311
版权

从RNN说起

所谓的RNN就是想要记住一些过去的信息，所以它具有环（loops）的形式，如下所示
上面的模块A 的输入为xt ，输出为ht  ，记忆体现在它将当前步的信息又送入下一步中，如果我们沿时间轴来看，RNN长这样
这一结构考虑了过去的信息，但是随着时间间隔的增大，RNN其实记不住太久之前发生的信息了
比如上图中的t+1 时刻的输出可能与t0,t1 时刻的输入相关，但是由于时间间隔太大，RNN无法为它们建立起连接。（这也叫做长距离依赖 ）

LSTM它来了

LSTM的设计就是为了避免长距离依赖的问题，lstm的结构也是和上面RNN一样的链式结构，只是将模块A替换成了一个更加复杂的模块
乍一眼确实复杂，一步步解开就清楚了。
LSTM中的创新在于引入了cell这个状态，cell 的状态是一个向量，是有多个数字构成。
可以理解为这就像是长期记忆，如果你不对状态进行修改，它就会直接一直往后传递。但是记忆总会有所改变吧，所以需要增加一些修正记忆的模块，这里就是加入一些“门”的概念，门就是让一些信息能通过，一些信息被门给过滤了
比如说通过sigmoid层输出一个数值都在0到1之间的向量，将这个向量和cell状态进行向量的逐点相乘（这就是个信息过滤的操作），在lstm中有三个这样的“门”结构。
输入假设（仅为说明模型参数计算，输入为什么这样，可以参考下一篇解释。）
假设现有一个样本,Shape=(13,5),时间步是13,每个时间步的特征长度是5（比如一个句子分为13个词组成，每个词用维度为5的特征向量表示）。形象点,我把一个样本画了出来:
每个时间 步经过LSTM后,得到的中间隐向量是10维(意思是5->10维),13个时间步的数据进去得到的是(13*10)的数据.
每个时间步对应神经元个数(参数个数)一样.也就是算一个LSTM中神经元个数,算一个时间步中参与的神经元个数即可.下面将对LSTM每个计算部分进行神经元分析.

遗忘门

就像一个人的记忆有限，首先你需要遗忘掉一些信息，才能记住新的信息，所以遗忘门首先出现了
根据上一时刻的输出状态h t-1 和当前时刻的输入xt ，我们需要确定有多少长期记忆Ct-1 需要抹掉，这个遗忘的比率就是

图中公式的 是上一个状态的隐向量(已设定隐向量长度为10), 为当前状态的输入(长度为5),那么 的长度就是10+5=15了. 和 为该层的参数.
该层输出是中间隐向量的长度(10),经过 激活前后的长度不变.只需要考虑 里面的操作得到10维特征即可.
是(1,15)的向量,与 相乘得到(1,10)的向量,根据矩阵相乘规律,得到 是(15,10)的矩阵,得到(1,10)矩阵后,与该门层偏置相加,偏置也应该有相同的形状,即 是(1,10)的矩阵.
即:该层神经元为:

输入门

忘了点东西总要再补充点进去，因此输入门紧接其后
当前时刻接收到的信息可以表示为

但是一次性都记住太吃力了，所以也要有选择地记住，选择的比率就是

那么将选择记忆的比率乘以当前时刻接收到的信息就是本次要放进cell里的信息了。也就是有选择地保留一些过去的信息   ，然后有选择地记住一些当前的信息   ，即
上面这个式子就是记忆的遗忘和补充的过程了。
可以看到,这里公式和前面的一样的, 和 都是激活函数,不影响参数个数.
同理这过程的神经元个数是:
更新过程
公式中的四个值,均是前面计算得到的结果,因此该过程没有参数需要学习. 

输出门

记忆更新完后就到了输出的时候了
在这里我们同样不能直接把cell中所有记忆都输出，仍然是有选择输出，这个选择率的计算和上面一样的
经过选择后输出的记忆就是选择率乘以cell中的记忆了
一样的公式,神经元个数一样.即个数为:

LSTM小结

1、过程：
可以类比为人记忆的容量有限，每个时刻遗忘掉一些旧的知识，再输入（记住）一些新的知识，最后根据需要输出一些知识（就像考试一样有选择地输出）。
2、 上一次的状态 h(t-1)是怎么和下一次的输入 x(t) 结合（concat）起来的？
concat， 直白的说就是把 二者直接拼起来 ，比如 x是28位的向量，h(t-1)是128位的，那么拼起来就是156位的向量。
3、cell 权重共享。
三个绿色的大框，代表三个 cell 对吧，但是实际上，它只是代表了 一个 cell 在不同时序时候的状态 ，所有的数据只会通过一个 cell，然后不断更新它的权重。
2、一层的 LSTM 的参数有多少个？
参数的数量是由 cell 的数量决定的，这里只有一个 cell，所以参数的数量就是这个 cell 里面用到的参数个数。
把公式(1),(2),(3)的神经元加起来,就是该LSTM的神经元个数了.
其实,我们可以把这个问题一般化,不看这个例子,假设你一个时间步的特征长度是n,经过该LSTM得到的长度是m,这样就可以算出该LSTM层的神经元个数为:
加上输出的时候的激活函数的参数，假设是10个类的话，就是m*10的 W 参数和10个bias 参数
5、cell 和 ht的理解。
cell 最上面的一条线的状态即 s(t) 代表了 长时记忆 ，而下面的 h(t)则代表了 工作记忆或短时记忆。 长期状态由Tanh函数激活，然后通过输出门过滤后得到短期状态，而用来输入到全连接层计算模型输出的是短期状态。 h t 一方面往上传递去计算当前时刻的模型输出，另一方面顺时间传递去计算下一个隐状态h t-1。

LSTM的变种

  • Peephole LSTM：无论计算遗忘、输入、还是输入的选择率时都要考虑cell的状态
  • 耦合遗忘门和输入门：就是遗忘率和输入率总和为1
  • GRU： 遗忘和输入合并 为更新，c ell状态和隐藏状态合并
参考链接：
TigerZ*
关注
  • 10
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
长短期记忆网络(LSTM):深度学习中的记忆单元
禅与计算机程序设计艺术
04-03 861
长短期记忆网络(LSTM):深度学习中的记忆单元 作者：禅与计算机程序设计艺术 1. 背景介绍 长短期记忆网络（LSTM）是一种特殊的循环神经网络(RNN)架构，它能够学习长期依赖关系。相比于传统的RNN,LSTM引入了一些特殊的结构,如记忆单元、遗忘门、输入门和输
LSTM详解
allein_STR的博客
02-06 2548
转载自：https://blog.csdn.net/m0_37917271/article/details/82350571?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-11.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-11.contr
LSTM概述、原理及应用.pdf
最新发布
03-21
长短期记忆网络（Long Short-Term Memory，简称LSTM）是一种特殊的循环神经网络（RNN），主要用于处理长序列数据。传统的RNN在处理长序列时，由于梯度消失或梯度爆炸的问题，往往难以有效地捕捉序列中的长期依赖关系。而LSTM通过引入记忆单元和门控机制，成功地解决了这一问题，使得模型能够更好地理解和处理长序列数据。 LSTM最初由Hochreiter和Schmidhuber于1997年提出，旨在解决RNN在处理长序列时遇到的困难。随后，经过众多研究者的改进和优化，LSTM在多个领域得到了广泛应用，包括自然语言处理、语音识别、时间序列预测等。
matlab提取文件要素代码-RNN:RNN将LSTM细胞
05-21
matlab提取文件要素代码RNN 具有LSTM单元的RNN 这基本上采用一组随时间变化的序列并将这些序列分类。 馈送的序列表示为视频生成的运动和静态矢量。 因此，我使用的预处理数据集在驱动器上。 可以在这里访问它们。 train.lua是运行它的主文件。 test.lua在测试用例上运行。 LSTM.lua中的LSTM单元直接取自我们讨论的论文中使用的模型。 lstm_init.lua根据数据集大小设置lstm。 rand_data.lua导入数据（它还具有生成随机输入和输出的选项）。 utils包含用于设置cmd选项和打印的代码。 这些链接有助于理解所使用的基本代码块：LSTM作为单元，CrossEntropyCriterion作为损失函数，以及一些用于将输入连接到输出的简单层。 （LSTM）（CrossEntropyCriterion）（视图，线性，转置） 如何运行： 下载数据：大约120MB（两个matlab矩阵。插入一个名为data的文件夹中。文件夹数据应与代码位于同一文件夹中。） 安装火炬的依赖项 在终端中运行：train.lua 在终端中运行：test.lua -chec
长短期记忆网络（LSTM）和门控循环单元（GRU）算法详解
极光喵的博客
03-07 948
分别是更新门的权重矩阵和偏置。由于输入门、遗忘门和输出门都是由Sigmoid函数变换得到的，它们的取值范围在0和1之间，因此可以有效地控制信息的流动和梯度的传递。这两个门控单元可以学习在每个时间步如何调整输入信息和上一个时间步的隐藏状态信息的重要程度，某种程度上可以看作有选择性的记忆当前时刻的输入和上一时刻的隐藏状态。总结一下，LSTM（Long Short-Term Memory）网络可以优化梯度传播不稳定的问题，主要是因为它们的设计允许信息在多个时间步长上有效地流动，而不受梯度消失或爆炸的影响。
PyTorch_构建一个LSTM网络单元
gXh的博客
10-27 2603
今天用PyTorch参考《Python深度学习基于PyTorch》搭建了一个LSTM网络单元，在这里做一下笔记。 1.LSTM的原理 LSTM是RNN（循环神经网络）的变体，全名为长短期记忆网络（Long Short Term Memory networks）。 它的精髓在于引入了细胞状态这样一个概念，不同于RNN只考虑最近的状态，LSTM的细胞状态会决定哪些状态应该被留下来，哪些状态应该被遗忘。 具体与RNN的区别可参考这篇博文：LSTM与RNN的比较 先放一张LSTM网络的模型图： 如上图所示，可以看
基于贝叶斯优化算法的LSTM模型时间序列多步预测Matlab程序代码
05-14
利用深度学习进行序列预测时，模型参数的确定是很头疼的问题，因为模型参数的选择对于结果的影响非常大。现在最流行的深度学习模型当属长短期记忆（LSTM）了，它属于卷积神经网络（CNN）的一种改进，具有很多优点。我基于Matlab2021编写了一个BO-LSTM算法，其中BO指的是贝叶斯（Bayesian）算法，利用BO算法对LSTM模型的超参数进行优化选择，包括采取的历史回归长度、隐藏层数、隐藏层单元数、单元随机丢弃率、初始学习率，该程序可以直接用于对于时间序列的多步提前预测。为方便理解，我自定义了一个时间序列，然后进行了提前24步预测。可以自己根据需要进行修改，用来预测自己的序列。
LSTM学习笔记
m0_72410588的博客
05-08 376
LSTM作为一种经典的循环神经网络，具有门控机制，能够更好地解决梯度消失的问题。LSTM的结构包括输入门、遗忘门、输出门和记忆单元。在训练过程中，我们通过反向传播算法对模型参数进行优化，从而使得模型能够更好地预测序列数据。
理解LSTM网络
Deep Learning and NLP Farm
11-16 3337
英文原地址：http://colah.github.io/posts/2015-08-Understanding-LSTMs/ 中文原地址：http://www.jianshu.com/p/9dc9f41f0b29 Recurrent Neural Networks 人类并不是每时每刻都从一片空白的大脑开始他们的思考。在你阅读这篇文章时候，你都是基于自己已经拥有的对先前所见词的理
lstm中numHiddenUnits数目怎么确定呢
xuanbao516的博客
03-30 871
假设此时堆栈单词“t0”是网络的输入。单词"stack“在输入到网络之前将被解码成某种一维矢量形式。假设向量大小为10，则隐藏单元的数量将为10。简而言之，隐藏单元的数量等于向量维度。LSTM通常用于我们处理序列的地方。假设您提供了一个英语句子作为LSTM网络的输入。在这里，输入将逐字传递到网络，而不是同时传递整个句子。那我怎么知道自己模型中隐藏单元数量具体是多少呢？还是说基本上都取10呢。以下是我看到的一个解释。
TensorFlow实战：LSTM的结构与cell中的参数
上帝是个娘们的博客
04-09 4797
一些参数 训练的话一般一批一批训练，即让batch_size 个句子同时训练； 每个句子的单词个数为num_steps，由于句子长度就是时间长度，因此用num_steps代表句子长度。 在NLP问题中，我们用词向量表示一个单词（一个数基本不能表示一个词，大家应该都知道的吧，可以去了解下词向量），我们设定词向量的长度为wordvec_size。 LSTM结构中是一个神经网络，即下图的...
[深度学习] Recurrent Units详细计算过程——LSTM
藏知阁
10-16 1306
文章大部分基于Christopher Olah的Understanding LSTM Networks。 （题外话：不知道为什么，每次看到好论文或好文章，我都很喜欢“人肉”一下大牛的来历，结果查了下这篇文章的作者，从LinkedIn里看到简历，教育背景里写着University of Real Life Experience，难道是没上大学？目前他就职Google Brain作为Research
TPA-LSTM时间序列预测实战案例
11-05
本文通过实战案例讲解TPA-LSTM实现多元时间序列预测，在本文中所提到的TPA和LSTM分别是注意力机制和深度学习模型,通过将其结合到一起实现时间序列的预测，本文利用有关油温的数据集来进行训练模型，同时将模型保存到本地，进行加载实现多步长预测，本文所利用的数据集也可以替换成你个人的数据集来进行预测(修改个人的数据集的地方本文也进行了标注)，同时本文会对TPA和LSTM分别进行概念的讲解帮助大家理解其中的运行机制原理(包括个人总结已经论文内容)。TPA（Temporal Pattern Attention）注意力机制是一种用于处理时间序列数据的注意力机制。它的工作原理是在传统的注意力机制的基础上引入了时间模式的概念，以更好地捕捉时间序列中的重要模式和特征。LSTM（长短期记忆，Long Short-Term Memory）是一种用于处理序列数据的深度学习模型，属于循环神经网络（RNN）的一种变体,其使用一种类似于搭桥术结构的RNN单元。相对于普通的RNN，LSTM引入了门控机制，能够更有效地处理长期依赖和短期记忆问题，是RNN网络中最常使用的Cell之一。配合我的博客大家可以实现预测。
arima的matlab代码-ARIMA-LSTM-hybrid-corrcoef-predict:应用ARIMA-LSTM混合模型来预测两种
06-02
arima的matlab代码使用 ARIMA-LSTM 混合模型进行相关预测 我们应用了 ARIMA-LSTM 混合模型来预测两种资产的未来价格相关系数 我的论文草稿上传到 . 我愿意对我的工作发表任何评论。 请给我发电子邮件。 我真的很感激反馈:) 论文摘要 预测未来时间段内两种资产的价格相关性在投资组合优化中很重要。 我们应用 LSTM 循环神经网络 (RNN) 来预测两只个股的股价相关系数。 RNN 能够理解时间依赖性。 LSTM 单元的使用进一步增强了其长期预测特性。 为了在模型中同时包含线性和非线性，我们也采用了 ARIMA 模型。 ARIMA 模型过滤数据中的线性趋势并将残差值传递给 LSTM 模型。 ARIMA LSTM 混合模型针对其他传统预测财务模型进行了测试，例如完整历史模型、恒定相关模型、单指数模型和多组模型。 在我们的实证研究中，ARIMA-LSTM 模型的预测能力明显优于所有其他金融模型。 我们的工作意味着值得考虑使用 ARIMA LSTM 模型来预测投资组合优化的相关系数。 1. Github 代码阅读指南 我的源代码和文件可以分为三个部分。 第 1 部分.
LSTM算法详细解析（含案例）
求知
03-05 2万+
LSTM单元结构图。 前向传播： 在Understanding LSTM Networks博客中已经详细得不能再详细的介绍了LSTM网络的前向传播过程。如果英文能力不是很好，也可以参考如何从RNN起步，一步一步通俗理解LSTM_结构之法 算法之道-CSDN博客翻译过来的版本。也可以参考本文的简略解析。 LSTM 的核心概念在于细胞状态以及“门”结构。细胞状态相当于信息传输的路径，让信息能在序列连中传递下去。你可以将其看作网络的“记忆”，记忆门一个控制信号控制门是否应该保留该信息，在实现上通常是乘1或乘0来
时间序列预测实战(二十二)TCN-LSTM实现单元和多元长期预测（专为新手编写的自研架构）
Snu77的博客
12-02 4896
本篇文章给大家带来的是利用我个人编写的架构进行TCN-LSTM时间序列卷积进行时间序列建模（专门为了时间序列领域新人编写的架构，简单不同于市面上用GPT写的代码）包括结果可视化、支持单元预测、多元预测、模型拟合效果检测、预测未知数据、以及滚动长期预测功能。该结构是一个通用架构任何模型嵌入其中都可运行。下面来介绍一下TCN时间序列卷积的基本原理：时间序列卷积通过一系列卷积层处理数据，每个层都能捕捉到不同时间范围内的模式。LSTM也是RNN当中最常用的Cell之一。
深度学习——LSTM解决分类问题
热门推荐
Elon15的博客
07-16 3万+
深度学习——LSTM解决分类问题
52_LSTM及简介,RNN单元的内部结构，LSTM单元的内部结构，原理，遗忘门，输入门，输出门，LSTM变体GRU，LSTM变体FC-LSTM，Pytorch LSTM API介绍，案例（学习笔记）
涂作权的博客
03-04 5195
1.52.LSTM 1.52.1.LSTM简介 1.52.2.RNN单元的内部结构 1.52.3.LSTM单元的内部结构 1.52.4.原理 1.52.5.遗忘门 1.52.6.输入门 1.52.7.输出门 1.52.8.Intuitive Pipeline 1.52.9.LSTM变体GRU 1.52.10.LSTM变体FC-LSTM 1.52.11.Pytorch LSTM API介绍 1.52.11.1.nn.LSTM 1.52.11.2.nn.LSTMCell 1.52.12.案例1 1.52.13.
【神经网络】图解LSTM和GRU
书山有路，学海无涯。记录成长，追逐梦想
07-18 4584
循环神经网络（RNN，Recurrent Neural Network）受到短期记忆的影响。如果一个序列足够长，就很难将早期产生的信息带到后续的步骤中来。因此，如果试图处理一段文字来做预测，RNN可能会从一开始就遗漏了重要信息。
简单理解LSTM神经网络
07-27
LSTM（Long Short-Term Memory）是一种特殊的循环神经网络（RNN），它在处理序列数据时能够有效地捕捉长期依赖关系。 LSTM有一个称为"记忆单元"的核心组件，它可以存储和访问过去的信息，并根据当前输入和前一时刻的状态来更新其内部状态。记忆单元由三个主要部分组成：遗忘门（forget gate）、输入门（input gate）和输出门（output gate）。 遗忘门决定了之前的记忆是否应该被遗忘，输入门决定了当前输入的哪些部分需要被添加到记忆中，而输出门则决定了记忆单元中的哪些信息将被输出。这些门控机制通过使用sigmoid激活函数来产生0到1之间的值，从而控制信息的流动。 LSTM通过将这些门控机制与线性变换和激活函数相结合，能够有效地处理序列中的长期依赖关系。相比于传统的RNN模型，LSTM能够更好地解决梯度消失和梯度爆炸等问题，使得网络更容易训练和优化。 总结来说，LSTM是一种具有门控机制的循环神经网络，通过存储和更新内部记忆状态，能够有效地处理序列数据中的长期依赖关系。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

TigerZ*

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值