LSTM的三个门一个状态图解

已于 2024-05-05 20:40:04 修改
阅读量1.3k 收藏 11
点赞数 14
文章标签： lstm
于 2024-05-05 17:09:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_73084262/article/details/138469395
版权
本文介绍了LSTM（长短时记忆网络），一种处理序列数据的深度学习模型，其独特设计包括遗忘门、输入门和细胞状态，有效解决了传统RNN的梯度问题，允许处理更长的依赖关系。
摘要由CSDN通过智能技术生成

LSTM概念

LSTM（长短时记忆网络）是一种常用于处理序列数据的深度学习模型，与传统的 RNN（循环神经网络）相比，LSTM引入了三个门（ 输入门、遗忘门、输出门，如下图所示）和一个 细胞状态（cell state），这些机制使得LSTM能够更好地处理序列中的长期依赖关系。

937d390749ef463598bcac8865f69449.jpg

 

1.遗忘门

371c15f60e654b69930493a96fc7d41e.jpg

 

9048f00348664aebba48df6a0e247ee7.png

通过x和ht－1的contact，并经过sigmoid函数，得到0,1的向量，0对应的就代表之前的记忆某一部分要忘记，1对应的就代表之前的记忆需要留下

 2.输入门

a59ae21eac994693b07864af74c65fb9.png

 6d79d5961352490db5064147b64a271b.png

 

98f99243644e43728a40edcc4ac87b3f.png

1af08c60a6f94757953464aeec5db615.jpg 

 3.细胞状态

61fdfba28e244be9b43b19d5310f1153.png

 下图的空心圈表示内积d386928a516f43cea261d754ba75cfb7.jpg

 通过将之前的需要留下的信息和现在需要记住的信息相加，也就是得到了新的记忆状态

4.输出门

1f78582e274145c49aa232af5677ee8d.png

 

903bf766ac894016b9177966dabeb289.png 

 0c0ffab7b99f407c956bc08cab16f761.png

16872c07723242af90798471d892dab5.png 

LSTM能解决的问题(和rnn相比)

一定程度上解决梯度消失和梯度爆炸的问题(

RNN的连乘主要是W的连乘，而W是一样的，因此就是一个指数函。)

能记住较长的序列

 

 

 

 

 

777。。。
关注
  • 14
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
LSTM的各种门
qq_41033867的博客
02-18 3093
动手实现LSTM代码的时候，因为忘记了各种门的原理，总感觉磕磕绊绊的。在这里重新巩固一下。 普通RNN无法学习到距离当前位置较远的信息，LSTM通过修改每个隐藏层内部的结构，来解决长距离依赖问题，实现对“记忆”的控制。如下图所示： 这种特殊结构的主要思想是：将信息存储在一个个记忆细胞中,不同隐藏层的记忆细胞之间通过少量线性交互形成一条传送带（图中红线），实现信息的流动。同时引入一种“门”的结构，...
LSTM的三个门
重剑无锋博客
04-08 9986
忘记门： 作用对象：细胞状态 作用：将细胞状态中的信息选择性的遗忘 让我们回到语言模型的例子中来基于已经看到的预测下一个词。在这个问题中，细胞状态可能包含当前主语的类别，因此正确的代词可以被选择出来。当我们看到新的主语，我们希望忘记旧的主语。 例如，他今天有事，所以我。。。当处理到‘’我‘’的时候选择性的忘记前面的’他’，或者说减小这个词对后面词的作用。 输入层门： 作用对象：细胞状态 作用：将新的信息选择性的记录到细胞状态中 在我们语言模型的例子中，我们希望增加新的主语的类别到细胞状态中，...
LSTM结构
Swift's Blog
07-22 1287
Overview 下面详细介绍LSTM的三个门： 遗忘门 遗忘门决定了上一时刻的单元状态 ct−1c_{t-1}ct−1​ 有多少保留到当前时刻 ctc_tct​ 。 公式如下： ft=σ(Wf⋅[ht−1,xt]+bf) f_t = \sigma(W_f \cdot [h_{t-1}, x_t] + b_f) ft​=σ(Wf​⋅[ht−1​,xt​]+bf​) 输入门 输入门决定了当前时刻网络的输入 xtx_txt​ 有多少保存到单元状态 ctc_tct​ 。 公式如下： it=σ(Wi⋅[ht−
了解LSTM
Taizhuang_的博客
12-17 1196
首先我们知道了RNN呢对于序列是不是不能解决长依赖问题啊，因此啊在LSTM我们做了改进，我们引入了门和细胞状态C
LSTM 详解
qq_40231344的博客
06-24 2945
计算过程： LSTM是RNN的一格变体，LSTM的结构是由三个门组成，遗忘门，输入门，输出门。“门”的结构是由sigmoid神经网络和一个按位作乘法的操作。之所以称为门，是因为经过sigmoid激活函数，全神经网络会输出（0,1）之间的值，代表遗忘或输入的信息量。 遗忘门：会根据当前输入xt和上一时刻隐藏层的状态ht-1，通过激活函数sigmoid,决定哪些信息将会被遗忘，经过遗忘门得到的ft是一个n维向量，每个维度上的值都在（0,1）之间，再与上一时刻状态ct-1相乘，得到结果在哪个维度上的值...
一个基于LSTM的字符级语言模型
最新发布
05-23
LSTM (Long Short-Term Memory) 是一种特殊的循环神经网络（RNN）架构，用于处理具有长期依赖关系的序列数据。传统的RNN在处理长序列时往往会遇到梯度消失或梯度爆炸的问题，导致无法有效地捕捉长期依赖。LSTM通过...
基于LSTM三分类的文本情感分析，采用LSTM模型，训练一个能够识别文本postive, neutral, negative三种
12-29
LSTM单元包含输入门、遗忘门和输出门，以及一个细胞状态，这些组件协同工作以保留和调整长期依赖信息。通过这样的设计，LSTM能够在处理文本等序列数据时更好地捕捉上下文信息。 为了构建基于LSTM的文本情感分析模型...
一个双向LSTM程序 BiLSTM.rar
05-13
一个双向LSTM程序 Long Short Term 网络—— 一般就叫做 LSTM ——是一种 RNN 特殊的类型，可以学习长期依赖信息。LSTM 由Hochreiter & Schmidhuber (1997)提出，并在近期被Alex Graves进行了改良和推广。在很多问题...
Long-Short Memory Network(LSTM长短期记忆网络)
weixin_34234829的博客
08-15 301
自剪枝神经网络 Simple RNN从理论上来看，具有全局记忆能力，因为T时刻，递归隐层一定记录着时序为1的状态 但由于Gradient Vanish问题，T时刻向前反向传播的Gradient在T-10时刻可能就衰减为0。 从Long-Term退化至Short-Term。 尽管ReLU能够在前馈网络中有效缓解Gradient Vanish，但RNN的深度过深，替换激活函数治标不治本。 $...
长短时期记忆（LSTM）及门控循环单元（GRU）网络结构
qq_40334856的博客
03-22 4361
一、背景 1、RNN自身可以通过不停的将信息循环操作，保证信息持续存在，从而可以利用前面得事件信息来对后面得事件进行分类操作。 2、RNN处理这类任务时不一定就可以完全得理解之前的记忆，因为在语句过长得情况下，之前的文本内容在传到后期时已经不再具有那么的信息。 （1）在‘the clouds are in the sky’中，如果最后进行预测，则我们可以大概率的将sky进行预测出来。 （2）若在一...
LSTM、GRU
dl674756321的博客
08-09 1680
LSTM 理解：传统的神经网络无法预测接下来的信息，而 循环神经网络（RNN） 可以解决序列数据前后关联的问题。它的主要用途是处理和预测序列数据，在网络结构上，循环神经网络会记忆之前的信息，并利用之前的信息影响后面结点的输出。 LSTM：长短期记忆网络。比方说“某地开设大量工厂，空气污染十分严重……天空都变成了灰色”，如果我们的模型要试着预测这句话的最后一个词“灰色”时，仅仅根据短期依赖无法完成，因为如果不看上文“空气污染十分严重”我们是无法知道天空是“蓝色”还是“灰色”。因此，当前预测位置和相关信息之间的
LSTM 三重门背后的故事
aliceyangxi1987的博客
09-22 588
LSTM 三重门背后的故事 在前面的文章中我们知道了基本的 RNN 很容易出现梯度消失的问题，并且列出了梯度消失的几个解决方案，其中包括 LSTM 模型，今天就来看看 LSTM 是怎样解决这个问题的。 本文知识点： LSTM 的结构 为什么 LSTM 要有三重门？ 如何将三道门相连？ LSTM 的前向计算 反向传播 LSTM 是如何解决梯度消失的 在文章的末尾会列出几个关于 LSTM 的面试...
LSTM
shaodongheng的博客
06-22 1045
文章目录简介具体流程 简介 LSTM的抽象网络结构示意图如图5.10所示。从图5.10中可以看出LSTM由三个门来控制，这三个门分别是输入门、遗忘门和输出门。顾名思义，输入门控制着网络的输入，遗忘门控制着记忆单元，输出门控制着网络的输出。这其中最重要的就是遗忘门，遗忘门的作用是决定之前的哪些记忆将被保留，哪些记忆将被去掉，正是由于遗忘门的作用，使得LSTM具有了长时记忆的功能，对于给定的任务，遗忘门能够自己学习保留多少以前的记忆，这使得不再需要人为干扰，网络就能够自主学习。 具体流程 下面来依次解释它们内
LSTM详解
qq_40922271的博客
10-25 1万+
LSTM详解 文章目录LSTM详解改进记忆单元门控机制LSTM结构LSTM的计算过程遗忘门输入门更新记忆单元输出门通过LSTM循环单元，整个网络可以建立较长距离的时序依赖关系，以上公式可以简洁地描述为 $$ \begin{bmatrix} \tilde{c}_t \\ o_t \\ i_t \\ f_t \end{bmatrix}LSTM单元的pytorch实现Pytorch中的LSTM参数输入输出参考与摘录 LSTM是RNN的一种变种，可以有效地解决RNN的梯度爆炸或者消失问题。 LSTM的改进在于增加了
LSTM网络的简单理解
Brigebios的博客
05-15 1596
目录RNN递归神经网络LSTM神经网络结构变形1.peephole connections结构2.在忘记门与输入门之间引入一个耦合3.门循环单元（GRU） 今天对LSTM网络进行学习。 在理解LSTM网络之前，我们首先要对Recurrent Neural Networks（RNNs）递归神经网络进行了解。 RNN递归神经网络 以我们人类来说，我们不会将所有的东西都全部丢弃，然后用空白的大脑进行思考。我们的思想拥有持久性。而在传统神经网络中，模型不会关注上一时刻的处理会有什么信息可以用于下一时刻，每一次都只会
LSTM理论知识讲解
上帝是个娘们的博客
04-09 7952
结构 1. RNN与LSTM的对比 RNN: LSTM: 其中的notation： 这里要注意：上图中四个黄框，每一个都是普通的神经网络，激活函数就是框上面所标注的。 通过对比可以看出，RNN的一个cell中只有一个神经网络，而LSTM的一个cell中有4个神经网络，故一个LSTM cell的参数是一个RNN cell参数的四倍。 从上图也可以看出，原来的一个RNN cell只需要存储一个...
LSTM神经网络介绍
热门推荐
weixin_42973814的博客
05-07 1万+
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录引言一、介绍1.1什么是LSTM?1.2基础知识1.2.1门控机制1.2.2 相关激活函数1.2.3网络参数介绍二、LSTM网络架构2.1架构图三、LSTM的门3.1遗忘门3.2输入门3.3输出门四、LSTM的简单实例参考 引言 传统的神经网络在处理与事件发生的时间轴有关系的问题时，如果需要联系并考虑上下文的时候就无能为力了，比如语音识别，机器翻译，时间序列等，因为他们的输出只是由当前的输入决定。所以就提出了RNN，了解RNN基.
简述LSTM每个门的功能和特点
05-31
LSTM（Long Short-Term Memory）是一种常用的循环神经网络结构，它通过三个门（输入门、遗忘门和输出门）来控制信息的流动和存储，从而解决了传统循环神经网络中长序列训练时的梯度消失和梯度爆炸问题。每个门的具体功能和特点如下： 1. 输入门（Input Gate）：用于控制输入信息的流入，决定了哪些信息要被记住。它包含一个sigmoid激活函数，用于控制输入信息的重要性，以及一个tanh激活函数，用于将输入信息转换为可以被添加到细胞状态上的向量。 2. 遗忘门（Forget Gate）：用于控制细胞状态中哪些信息需要被遗忘，以避免无关信息对网络的影响。它也包含一个sigmoid激活函数，用于控制遗忘的程度，以及一个1-tanh激活函数的输出，用于将遗忘的信息从细胞状态中移除。 3. 输出门（Output Gate）：用于控制细胞状态中哪些信息需要被输出，以及输出信息的重要性。它包含一个sigmoid激活函数，用于控制输出信息的重要性，以及一个tanh激活函数，用于将细胞状态中的信息转换为输出向量。 LSTM的每个门都有独特的功能和特点，它们共同控制着信息流的流动和存储，从而使得LSTM在处理长序列数据时具有很好的效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值