直观地、透彻地理解RNN、LSTM与Attention，这三种结构

最新推荐文章于 2024-05-13 08:51:10 发布
最新推荐文章于 2024-05-13 08:51:10 发布
阅读量2.9k 收藏 30
点赞数 7
分类专栏： pytorch深度学习 文章标签： rnn lstm 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42269028/article/details/126369596
版权

直观地、透彻地理解RNN、LSTM与Attention，这三种结构

  写在前面：文中的图画大部分截图于B站梗直哥丶的视频，欢迎大家根据下面的链接去选择观看，每个视频都不长，但是讲得非常透彻易懂，我呢则整理一下，以供自己以后的学习。
  梗直哥丶的讲解视频链接：
RNN的：【循环神经网络】5分钟搞懂RNN，3D动画深入浅出
LSTM的：【LSTM长短期记忆网络】3D模型一目了然，带你领略算法背后的逻辑
Attention的：【Attention 注意力机制】激情告白transformer、Bert、GNN的精髓

RNN

  RNN全称循环神经网络（Recurrent Neural Network, RNN），在自然语言处理（Natural Language Processing，NLP）应用非常广泛，在图像处理中同样非常火热，涉及到时间序列问题，尤其是网络中有上下文结构，那RNN通常是少不了的，下面我梳理一下看视频学习到的东西。（这一章我就不在每张图片下进行标题解释，只会给予标号，但文中我会加以解释。）

  1. RNN的三维结构
    图1-1是RNN直观上的三维结构，可以看出网络在时间尺度长进行了展开，将Xt与前一时刻Xt-1和后一时刻Xt+1进行关联，如图1-2所示进行时间尺度上的权重共享。
    在这里插入图片描述
图1-1

在这里插入图片描述

图1-2
  1. 三维结构画成二维结构的解释
    图1-3为我们常见的RNN简易二维示图，下面将从三维向二维映射，观察搞清楚为什么这般表示。

在这里插入图片描述

图1-3
我们的任务就是将图1-4中的左图映射到右图上，其实难度不大。

在这里插入图片描述

图1-4
压缩垂直于屏幕的坐标轴上的结点，图1-5可以看到粉球代表输入层 X，蓝球未中间层 S，黄绿球为输出层 O。而后在时间轴上进行压缩，便会在中间层出现一个循环，这里面便是对应的权重 W。

在这里插入图片描述

图1-5
同理将图1-5的左图逆时针旋转90度，便可以解释为图1-6中右图的简易表达形式了。

在这里插入图片描述

图1-6

LSTM

  RNN在时间尺度长的延展非常的有限，不能有效查询较长一段时间内的信息，所以LSTM（长短期记忆网络，Long Short-Term Memory）诞生了，这是一个非常有趣的网络，我曾经为它的二维图像发愁的不得了，现在总算弄明白一些了，说白了，就如人的记忆力一样，我们需要不断地忘记，再不断地记忆，很有意思哎！

  1. LSTM的三维结构
    很有趣吧，就是加了一个 “日记本”，由图2-1可以看到，这个“日记本”所代表的支链连接着不同时刻的中间状态。
    在这里插入图片描述
图2-1
  1. 三维结构画成二维结构的解释
    针对图2-1的St进行平铺展开，图2-2可以直观看到中间层与“日记本”互动过程，主要是删除和增加两个过程的进行。
    在这里插入图片描述
图2-2
图2-3对“橡皮”的删除过程进行了解释，那便是使用sigmoid函数把极大多数的负值给抹去，而“铅笔”的增加过程则使用tanh函数，延展增强负值，具体的情形可以看图2-3中的函数示意，非常的棒！这个两个函数便是后续我们看到的 σ 和 tanh ，而且删除和增加的学名便是遗忘门（forget gate）和输入门（input gate）。

在这里插入图片描述

图2-3
进一步的计算可达到S t输入时刻在“笔记本”中的 c t，图2-4是图2-3的一个总结。

在这里插入图片描述

图2-4
下面将上述的图像转化为常见的LSTM形式，如图2-8右图所示，首先将图2-5中的“日记本”正对我们朝上，成为图2-6。

在这里插入图片描述

图2-5

在这里插入图片描述

图2-6
图2-6中“日记本”和中间层重叠，我们可以错位展开如图2-7所示。

在这里插入图片描述

图2-7
现在可以对上了吧！这里需要注意图2-8中右图的h t-1以及h t就是我们上述图中的S t-1和S t，图2-8的右图中有关h t的计算没有进行展示，不过与遗忘门和输入门非常详尽，试着理解一下吧。

在这里插入图片描述

图2-8

Attention

  主要是注意力机制，不过梗直哥说到这里的Attention就是权重的意思哦！！记住了，它（Attention） == 权重（Weight）。这里就不进行三维到二维的展开了，它没有LSTM那么抽象，所以我们就对典型的注意力机制和自注意力机制进行一个了解即可。

  1. 注意力机制
    图3-1为RNN结构示意，我们由此引出注意力结构。
    在这里插入图片描述
图3-1
图3-2可以看到只通过一个“笔记本”C进行权重共享，显然其处理能力是有限的。

在这里插入图片描述

图3-2
一个不行那就多上几个，图3-3我们为每一个输出的状态配一个“笔记本”，这便是注意力机制了。

在这里插入图片描述

图3-3
  1. 自注意力机制
    仍然使用RNN中的时序结构对注意力结构的运行造成了一定障碍，为提高运行的速度，自注意力机制应运而生了，图3-4便是自注意力结构示意图。
    在这里插入图片描述
图3-4
将图3-4逆时针旋转90度，并详细的添加上中间层，那便是图3-5的自注意力结构了。

在这里插入图片描述

图3-5

总结

  这三个结构的理解大多是使用图框进行通俗易懂的理解，至于具体的数学公式就不多赘述了，我需要有一个清晰地认识，至少我用到了LSTM以及Attention，我必须搞明白这是什么样的结构，这些结构在时间尺度上延展，有利于解决带有时序性质的问题。

汤姆和佩琦
关注
  • 7
    点赞
  • 踩
  • 30
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
pytorch-sentiment-analysis-classification:情感分析分类的PyTorch教程（RNN，LSTM，Bi-LSTM，LSTM + Attention，CNN）
05-24
情感分析分类 先决条件 安装依赖项 pip install -r requirements.txt 安装Spacy英语数据 python -m spacy download en 框架 火炬 数据集 Cornell MR（电影评论）数据集 实施 RNN LSTM 双LSTM LSTM +注意 有线电视新闻网
分别使用RNN_LSTM_GRU三种神经网络进行文本分类
11-19
在02_RNN_LSTM_GRU_文本分类这个压缩包中，应该包含了实现这三种模型的详细代码和相关数据。通过阅读和理解这些代码，你可以了解到如何将RNN、LSTM和GRU应用到实际文本分类任务中，包括数据预处理、模型构建、训练...
【LSTM分类】长短时记忆神经网络结合注意力机制LSTM-Attention数据分类【含Matlab源码 4267期】
Matlab领域的博客
04-12 960
长短时记忆神经网络结合注意力机制LSTM-Attention数据分类 完整的代码，方可运行；可提供运行操作视频！适合小白！
【Python文本数据系列】使用LSTM+Attention模型进行文本情感分析（案例+源码）
数据杂坛
05-13 472
使用LSTM+Attention模型进行文本情感分析（案例+源码）
attention-based RNN(LSTM)：添加注意机制的RNN(LSTM)详解
qq_42902997的博客
03-23 3027
1. 传统的RNN Encoder-Decoder 传统的RNN编解码方式喜欢将所有隐藏层的信息整合到最后的一个特征向量 CCC 中，然后再送入解码器进行解码。这就会出现一些问题： 由于序列过长，在中间的过程中难免会出现某一些中间状态的 hth_{t}ht​ 信息的丢失 由于编码器端的输入和解码器端的输出维度可能不一致所以导致了对齐问题。例如：我是中国人 → LSTM → I am Chines...
【Python时序预测系列】基于多层LSTM实现多变量时间序列预测（案例+源码）
数据杂坛
04-16 711
基于多层LSTM实现多变量时间序列预测（案例+源码）
从LSTM到Attention再到Situation Awareness
人机与认知实验室
04-22 172
机器学习正在从LSTM转向ATTENTION，下一步将是SITUATION AWARENESS，而“Awareness”既有“感知”的意思，也有“意识”的意思：1、LSTM与AttentionLSTM (Long Short-Term Memory)是一种循环神经网络（RNN）架构，用于处理序列数据。它的设计可以更好地捕捉输入序列中的长期依赖关系，同时避免梯度消失问题。Attention机制是一种...
一看就懂的LSTM+Attention，此处用softmax求概率
qq_33328642的博客
08-23 2万+
1。 序言 首先呢，我是看这两篇片文章的。但是呢，他们一个写的很笼统，一个是根据Encoder-Decoder和Query(key,value)。第二个讲的太深奥了，绕来绕去，看了两天才知道他的想法。 https://segmentfault.com/a/1190000014574524 这个是讲的很笼统的 https://blog.csdn.net/qq_40027052/article/details/78421155 这个是讲的太深奥的。 本文 的一些基础知识还是基于第二个博客展开。但是我通
基于LSTM+Attention和RNN实现抖音虚假信息识别详解--从数据获取到模型搭建训练
weixin_45897172的博客
04-24 3041
LSTM-Attention模型是一种经典的自然语言处理深度学习模型，它相比于传统的循环神经网络模型和卷积神经网络模型具有更好的效果。在自然语言处理任务中，LSTM-Attention模型利用长短时记忆网络（LSTM）来捕捉句子中的语义信息，并采用自注意力机制（Attention）来增强模型的表征能力，使得模型能够更好地理解文本，并且具有更好的并行性和更快的训练速度。与其他模型相比，LSTM-Attention模型在自然语言处理领域具有显著的优势。
LSTM+attention代码原理详解
重剑无锋博客
06-30 2万+
class lstm(torch.nn.Module): def __init__(self, output_size, hidden_size, embed_dim, sequence_length): super(lstm, self).__init__() self.output_size = output_size self.hidden_size = hidden_size #对应特征维度 self.embed
Attention-LSTM模型的python实现
m0_49558200的博客
05-27 1万+
1.模型结构 Attention-LSTM模型分为输入层、LSTM 层、Attention层、全连接层、输出层五层。LSTM 层的作用是实现高层次特征学习；Attention 层的作用是突出关键信息；全连接层的作用是进行局部特征整合，实现最终的预测。 这里解决的问题是：使用Attention-LSTM模型进行数据的预测。完整的代码在文末展示。 1.输入层 输入层是全部特征进行归一化之后的序列。归一化的目的是保证特征处于相似的尺度上，有利于加快梯...
时序预测中Attention机制是否真的有效？盘点LSTM/RNN中24种Attention机制+效果对比
KI的博客
05-26 9544
时序预测中Attention机制是否真的有效？盘点LSTM/RNN中24种Attention机制+效果对比
cnn+lstm+attention对时序数据进行预测
02-18
cnn+lstm+attention对时序数据进行预测 博客链接： ...1、摘要 本文主要讲解：bilstm-cnn-attention对时序数据进行预测 ...RNN-＞LSTM-＞BiLSTM神经网络结构 注意力机制----transformer中注意力机制 使用Python和Kera
基于RNN、GRU、LSTM和Attention的“时间序列预测”代码
最新发布
07-22
包含使用RNN、GRU、LSTM或Attention方法进行基本时间序列预测的实现。在时间序列预测任务中，RNN、GRU、LSTM和Attention是常用的深度学习模型。通过使用这些模型，可以捕获时间序列数据中的长期依赖关系和模式，从而...
RNN与LSTM源代码
12-18
本资源包含了RNN和LSTM在MATLAB环境下的源代码实现，使得用户可以直观地理解这两种模型的工作原理，并进行实际操作。 RNN是一种具有循环结构的神经网络，允许信息在时间步之间流动。在RNN中，每个时间步的隐藏状态...
时间序列预测实战(二十)自研注意力机制Attention-LSTM进行多元预测（结果可视化，自研结构）
Snu77的博客
11-27 8080
本文给大家带来的是我利用我自研的结构进行Attention-LSTM进行时间序列预测，该结构是我专门为新手和刚入门的读者设计，包括结果可视化、支持单元预测、多元预测、模型拟合效果检测、预测未知数据、以及滚动长期预测，大家不仅可以用来学习，用该结构可以发表论文我也觉得是可以并且不需要引用本篇博客。下面我们来介绍一下Attention-LSTM模型，这里提到的Attention是我自研的注意力机制(不是很复杂是一种比较简单的注意力机制但是我觉得效果还比较好)，LSTM模型大家都很收悉了，其通过门控单元机制，能够
CNN+LSTM+Attention实现时间序列预测
pengxiang1998的博客
11-17 3万+
LSTM 隐藏层输出向量作为注意力层的输入，通过一个全连接层进行训练，再对全连接层的输出使用 softmax 函数进行归一化，得出每一个隐藏层向量的分配权重，权重大小表示每个时间步的隐状态对于预测结果的重要程度。权重训练过程如下：Ｓ。
易于理解的一些时序相关的操作(LSTM)和注意力机制(Attention Model)
热门推荐
wangyanbeilin的博客
08-02 6万+
这是我看完很多博客和视频以后对LSTM和Attention Model的一个理解和总结，有一些公式的地方感觉在数学上不能严格的推导出来，就直接贴了流程图。自己能推导出来的，我用白话文字解释了公式的意思，尽量避免用一些难理解的词，有的地方举了些例子，如果不妥的话烦请指正。 1. LSTM（长短时记忆网络） 之前讲过了RNN循环神经网络，能解决神经网络中信息保存的问题。但是RNN还不够好，因为它存...
LSTM结构与RNN结构
05-28
LSTM（Long Short-Term Memory）结构与RNN（Recurrent Neural Network）结构都是常用于序列模型中的循环神经网络结构，但是LSTM相较于RNN有一些独特的优点。 首先，LSTM中引入了三个门（输入门、遗忘门和输出门），通过控制三个门的开关状态，LSTM可以有效地控制信息的流动和遗忘，从而实现对长期依赖关系的建模。而RNN只有一个简单的循环结构，容易出现梯度消失和梯度爆炸问题，难以处理长序列。 其次，LSTM中引入了记忆单元，用于存储和更新历史信息，而RNN只有一个隐藏状态，不能有效地记录历史信息。 因此，LSTM相较于RNN，在处理长序列和长期依赖关系时具有更好的表现和效果。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值