Self-Attention ConvLSTM学习总结

最新推荐文章于 2024-02-04 12:34:35 发布
最新推荐文章于 2024-02-04 12:34:35 发布
阅读量766 收藏 2
点赞数 2
文章标签： 学习 自然语言处理 lstm nlp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40474914/article/details/127988902
版权

 思想：ConvLSTM加上了一个沿时间步传播的M，而该M是由ConvLSTM中的隐藏状态H与上一时刻的M经过注意力运算得来的。

Self-Attention ConvLSTM

 方法：它的框架如下，只不过每层沿时间步传播除了C和H，多了一个M，但是与PredRNN中M贯穿每一时间的每一层的传播方式不同。

 下面给出M是怎么得来的，如图为SAM模块，从出入和输出看，输出Mt和Ht帽由Mt-1和Ht进行计算得来，其中Ht是ConvLSTM的输出。

我将尝试解读作者设计SAM的思路，如图，两个隐态H,M分别利用1x1卷积核生成Qh,Kh,Vh,Km,Vm。 两个隐态的K与同一个Q分别做矩阵乘法，经Softmax获得相似度得分再分别乘以该隐态的V后分别得到Zh和Zm，到这步只是计算了M对H 的相似程度，而H也是计算了自身的相似度。

之后Zh和Zm融合后用残差链接提前融合了Ht，而Mt-1的残差融合放到了比较靠后的位置。此时我认为此时在融合的信息中来自H的占比是要比来自M的占比大的。

而后分为三岔，下方两岔为M的运算，先经过tanh将值归为-1-1之间后与同源但经sigmoid归为0-1后的值相乘，而该sigmoid又与经过残差连接的M相乘后与之间信息相加最后得到新的M。（M在最后最接近M输出的地方残差连接为了防止M在之前运算过程中信息丢失过多，要保持M信息流的重要占比，而往其中加入信息为非主体。同理输出的H也是在其接近输出的地方进行残差连接保证输出H为主体，或者说信息review）

从结果来看，SAM的输出Mt和Ht帽分别是由Mt-1和Ht作为主要部分，而后分别往里面加上融合了自注意力的部分

作者说提出的SAM模块提升了模型捕获全局信息的能力让我百思不得其解，可能是因为在每个单元内都有一个M来记录部分关于H的信息，相较于PredRNN中的M其更新次数较少，梯度更容易保留。

时空序列小白
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
Self-Attention-Keras：自我关注与文本分类
02-03
自关注与文本分类 本仓库基于自关注机制实现文本分类。 依赖 Python 3.5 凯拉斯 数据集 IMDB影评高度分类数据集，来自IMDB的25,000条影评，被标记为正面/纵向两种评价。影评已被预先为词下标构成的序列。方便起见，单词的下标基于它在数据集中出现的频率标定，例如整数3所编码的词为数据集中第3常出现的词。 按照惯例，0不代表任何特定的词，而编码为任何未知单词。 用法 训练 $ python imdb_attention.py 比较结果 算法 训练时间（每纪元） Val准确率 Val损失 所需Epoch数 LSTM 116秒 0.8339 0.3815 2 双向LSTM
keras-self-attention:处理顺序数据的注意力机制，考虑每个时间戳的上下文
05-31
Keras 自注意力 [| ] 处理顺序数据的注意力机制，考虑了每个时间戳的上下文。 安装 pip install keras-self-attention 用法 基本的 默认情况下，注意力层使用附加注意力并在计算相关性时考虑整个上下文。 以下代码创建了一个注意力层，它遵循第一部分中的方程（ attention_activation是e_{t, t'}的激活函数）： import keras from keras_self_attention import SeqSelfAttention model = keras . models . Sequential () model . add ( keras . layers . Embedding ( input_dim = 10000 , output_dim =
Self-Attention-ConvLSTM-sample.zip
09-09
来自Self-Attention ConvLSTM for Spatiotemporal Prediction文章的Self-Attention Module的实现。使用python3语言，tensorflow2.0框架编写。
Self-Attention与Transformer
01-07
1.由来 在Transformer之前，做翻译的时候，一般用基于RNN的Encoder-Decoder模型。从X翻译到Y。 但是这种方式是基于RNN模型，存在两个问题。 一是RNN存在梯度消失的问题。（LSTM/GRU只是缓解这个问题） 二是RNN 有时间上的方向性，不能用于并行操作。Transformer 摆脱了RNN这种问题。 2.Transformer 的整体框架 输入的x1,x2x_{1},x_{2}x1​,x2​，共同经过Self-attention机制后，在Self-attention中实现了信息的交互，分别得到了z1,z2z_{1},z_{2}z1​,z2​，将z1,z2
从三大顶会论文看百变Self-Attention - self-attention的相关思想以及最新的研究进展.zip
11-11
从三大顶会论文看百变Self-Attention，i.e.,了解并熟悉self-attention的相关思想以及最新的研究进展。另外，一并附上一个self-attention论文集仓库（https://github.com/PengboLiu/NLP-Papers）
SaConvSLTM:用于时空预测的自注意ConvLSTM，在`https中进行了描述
03-18
概述 自我时空ConvLSTM用于时空预测 SaConvSTLM在此描述的 在MovingMNIST 上MovingMNIST测试 项目结构 load_data.py 包含用于下载数据集，对数据集进行预处理和保存预测图片到文件夹的实用函数 ConvSTLM_main.py 使用· tensorflow.keras.layers.ConvLSTM2D的网络模型及其训练测试 SaConvSTLM.py 基于tensorflow实现了单元SaConvLSTM2DCell和层SaConvLSTM2D ，层SaConvLSTM2D可以直接作为模型中的一个层 SaConvSTLM_main.py 使用自定义的SaConvLSTM层SaConvLSTM的网络模型及其在MovingMNIST上的训练测试 模型结构 SaConvLSTM结构 描述 整体格局 自我注意记忆模块
ConvLSTM原理解读
qq_42757191的博客
08-18 1万+
LSTM非常擅长处理时序信息也能处理空间信息。但对于三维图形来讲，因为有着丰富的空间信息并且每一个点和周围是有很强的相关性的，这就带来了冗余，传统的LSTM是很难刻画这种空间特征的。 为了克服LSTM在处理三维信息中的不足，ConvLSTM 将 LSTM 中的2D的输入转换成了3D的tensor，最后两个维度是空间维度（行和列）。对于每一时刻t的数据，ConvLSTM 将 LSTM 中的一部分连接操作替换为了卷积操作，即通过当前输入和局部邻居的过去状态来进行预测。......
时间序列预测 —— ConvLSTM 模型
最新发布
weixin_39753819的博客
02-04 5256
ConvLSTM 是一种结合卷积神经网络（CNN）和长短时记忆网络（LSTM）的架构，专门用于处理时序数据。与传统的 LSTM 不同，ConvLSTM 在每个时间步应用卷积操作，有助于捕捉时序数据中的空间信息。本文介绍了 ConvLSTM 模型的理论基础、与其他时序模型的区别，并通过 Python 和 Keras 实现了 ConvLSTM 的单步预测和多步预测。ConvLSTM 在处理时序数据中的空间信息方面具有优势，可以应用于各种领域的时间序列预测任务。
初学者关于ConvLSTM的理解
ArowerYoung的博客
12-21 1万+
选择最常见的基于Pytorch深度学习框架的ConvLSTM代码，在他人已有注解的情况下，逐行对代码进行详细的注解，供新手理解。
读论文：Self-Attention ConvLSTM for Spatiotemporal Prediction
a44267113的博客
10-01 1503
在卷积LSTM中嵌入SAM来提升其能力
Self-Attention ConvLSTM for Spatiotemporal Prediction
小蚂蚁与大象
06-05 877
Self-Attention ConvLSTM for Spatiotemporal Prediction 现有的工作集中于在标准的ConvLSTM中嵌入额外的单元来记忆预测过程中的空间表象。这些模型总是依赖于卷积层来获取空间相关性，这是局部的和低效的。然而，长程空间依赖性对空间应用意义重大。为了提取具有全局依赖和局部依赖的空间特征，我们在ConvLSTM中引入了自注意机制。提出了一种新的自我注意记忆(self-attention memory, SAM)方法，用于记忆具有长期空间和时间依赖性的特征。该方
PyTorch_ConvLSTM代码（参数）解读笔记
gXh的博客
11-01 1万+
原代码链接：ConvLSTM_pytorch 参考资料： LSTM的参数解释 Pytorch-LSTM输入输出参数 ConvLSTM参数详解（Keras） 1.导入pytorch import torch import torch.nn as nn 2.构建LSTMCell class ConvLSTMCell(nn.Module): #这里面全都是数，衡量后面输入数据的维度/通道尺寸 def __init__(self, input_dim, hidden_dim, kernel_si
论文笔记《Self-Attention ConvLSTM for Spatiotemporal Prediction》
mintminty的博客
10-19 4603
1. Abstract 为提取空间特征的全局和局部依赖性，本文向ConvLSTM引入了一个新的自注意力机制(self-attention mechanism) 子注意力记忆模块(self-attention memory , SAM) 能在时空域记住那些具有长期依赖性的特征 2. Introduction 本文的创新点/贡献在于： 提出一个新的基于ConvLSTM的变体模型用于时空预测，命名为SA-ConvLSTM，特点是能很好捕获长程空间依赖性。 设计了一个基于记忆的自相关模块(memory-bas
ConvLSTM时空预测实战代码详解
JaysonWong的博客
12-24 1万+
ConvLSTM代码复现
rnn，lstm，convlstm的输入输出有啥不同
辛宣的博客
04-30 121
用于土壤湿度预测的，rnn，lstm，convlstm的输入输出有啥不同，做一个表格处理 下面是一个简单的表格，列出了在用于土壤湿度预测时，RNN、LSTM 和 ConvLSTM 的输入和输出的不同之处： 模型 输入 输出 RNN \((X_{1}, X_{2}, ..., X_{T})\) \((y_{1}, y_{2}, ..., y_{T})\) LSTM \((X_{1...
PyTorch ConvLSTM复现代码解析
m0_50539226的博客
12-07 1万+
PyTorch ConvLSTM复现代码解析 零、前言 最近在复现一篇paper，里面有一个地方用到了ConvLSTM，由于目前本人能力有限，于是先在GitHub上找了一个ConvLSTM复现的代码，进行阅读解析 代码传送门：https://github.com/ndrplz/ConvLSTM_pytorch 一、ConvLSTM简介： ConvLSTM是在2015年NIPS上的Convolutional lstm network: A machine learning approach for preci
【论文翻译】Attention in Convolutional LSTM for Gesture Recognition
页页读
09-04 3827
论文：http://papers.nips.cc/paper/7465-attention-in-convolutional-lstm-for-gesture-recognition.pdf Code：https://github.com/GuangmingZhu/AttentionConvLSTM (NIPS 2018) Attention in Convolutional LSTM ...
空间深度学习——ConvLSTM原理及其TensorFlow实现
热门推荐
素质云笔记
05-13 4万+
转载于深度学习每日摘要，ConvLSTM原理及其TensorFlow实现 本文参考文献 Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting 今天介绍一种很有名的网络结构——ConvLSTM，其不仅具有LSTM的时序建模能力，而且还能像CNN一样刻画局部特征，可以说是时空特
【时空序列预测第十三篇】Self-Attention ConvLSTM for Spatiotemporal Prediction
AI蜗牛车
10-29 8277
作者|Subranium学校 | 东北大学研究| 城市计算出品 | AI蜗牛车一、 Address来自于清华大学的一篇文章，收录于AAAI 2020的论文：Self-Attenti...
convlstm的输出
05-16
ConvLSTM是一种结合了Convolutional神经网络（CNN）和长短时记忆（LSTM）网络的深度学习模型，用于处理时间序列数据和图像数据。在ConvLSTM中，每个单元格都包含一个LSTM单元和一个卷积层，以便同时处理空间和时间信息。 ConvLSTM的输出是一个三维张量，它的形状取决于输入数据的大小，以及网络中的参数和层数。一般而言，ConvLSTM的输出包含三个维度：时间步长、高度和宽度。例如，如果输入数据是一个形状为(batch_size, time_steps, height, width, channels)的五维张量，则ConvLSTM的输出将是一个形状为(batch_size, time_steps, convlstm_units, height, width)的五维张量，其中convlstm_units是ConvLSTM单元的数量。 在训练过程中，ConvLSTM的输出可以被用作下一层网络的输入，也可以经过一些附加处理后用于预测任务，例如分类、回归或分割。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值