self-attention理解

最新推荐文章于 2022-01-18 17:19:48 发布
最新推荐文章于 2022-01-18 17:19:48 发布
阅读量422 收藏
点赞数
分类专栏： 笔记 文章标签： 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/YoJayC/article/details/114441689
版权

在一篇讲解S3D的文章中，文章作者提到论文“在每个3x1x1卷积后加入了Self-attention模块”

Self-attention公式如下

公式代表的意思是

“只是个普通的时空attention模块，将feature map中所有channels进行平均池化，然后进行线性映射和非线性激活，来产生时空attention map，最后权值叠加回去原feature map”

其中，X表示输入attention模块的feature map

pool(X)表示将feature map中所有channels进行平均池化

Wpool(X) + b表示对池化结果使用linear层，即进行线性映射

σ(Wpool(X) + b)表示使用ReLU等层进行非线性激活，最后得到时空attention map

σ(Wpool(X) + b)⊙X表示将attention模块输出的额权值叠加(element-wise multiply)回原feature map

YoJayC
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Attention、self-attention：从计算、公式的角度详解
ZcsLv_zyq的博客
12-17 644
参考： 这个视频量短而精 https://www.youtube.com/watch?v=XhWdv7ghmQQ GitHub - wangshusen/DeepLearning 以机器翻译、rnn-seq2se2引入attention为例 1.attention 最早提出attention的是15年的这篇论文 在encoder结束之后，output一个全局的s0,这包含了h1...hm的所有信息，同时s0也作为decoder的input。 用权重apha表示s和h的相关性，..
时空之章：将Attention视为平方复杂度的RNN
Paper weekly
03-25 1055
©PaperWeekly 原创 ·作者 | 苏剑林单位 | 科学空间研究方向 | NLP、神经网络近年来，RNN 由于其线性的训练和推理效率，重新吸引了不少研究人员和用户的兴趣，隐约有“文艺复兴”之势，其代表作有 RWKV [1]、RetNet [2]、Mamba[3]等。当将 RNN 用于语言模型时，其典型特点就是每步生成都是常数的空间复杂度和时间复杂度，从整个序列看来就是常数的空间复杂度...
Self-Attention 学习笔记
qq_42811373的博客
12-29 3040
Attention机制的本质 attention机制的本质是从人类视觉注意力机制中获得灵感。 大致是我们视觉在感知东西的时候，一般不会是一个场景从到头看到尾每次全部都看，而往往是根据需求观察注意特定的一部分。而且当我们发现一个场景经常在某部分出现自己想观察的东西时，我们就会进行学习在将来再出现类似场景时把注意力放到该部分上。从关注全部到关注重点 Attention机智的优势 参数少 模型复杂度跟 CNN、RNN 相比，复杂度更小，参数也更少。所以对算力的要求也就更小。 速度快 Attention 解
[LLM] 自然语言处理 --- Self-Attention(二) 动画与代码演示
摩登都市天空---专栏
04-20 777
一 Self Attention Self Attention也经常被称为intra Attention（内部Attention），最近一年也获得了比较广泛的使用，比如Google最新的机器翻译模型内部大量采用了Self Attention模型。 在一般任务的Encoder-Decoder框架中，输入Source和输出Target内容是不一样的，比如对于英-中机器翻译来说，Source是英文句子，Target是对应的翻译出的中文句子，Attention机制发生在Target的元素Query和Source
Self-Attention计算详解
laolu1573的专栏
03-06 3449
第一步 准备输入向量（本例子里是每个单词的embedding），对每个单词创建Query向量、Key向量、Value向量。这些向量是单词embedding和三个转换矩阵(W_Q、W_K、W_V)相乘得到，这三个矩阵是在训练中学习得到的。 注意到这些新向量的维度比输入词向量的维度要小（512–>64），并不是必须要小的，这种结构是为了让multiheaded attention的计算更稳定。 第二步 self-attention计算的第二个步骤是一个计算分值。这里我们计算 “Thinking Matc
self-attention原理详解
jjj的博客
03-05 7884
该博客讲解的极其清晰，强烈推荐 https://jalammar.github.io/illustrated-transformer/ 以下内容源于此博客（转载翻译分享） 1、让我们首先将模型看作一个黑盒子。在机器翻译应用程序中，它将使用一种语言的句子，并将其翻译输出到另一种语言中。 2、打开黑盒子，我们看到了编码组件，解码组件以及它们之间的连接。 编码组件是一堆编码器（图中由6个编码器组成，数...
详解Self-attention与Transformer1
08-03
Self-attention机制是Transformer...总的来说，Self-attention通过计算序列中各位置之间的相互依赖关系，有效地处理了序列数据，并且在Transformer架构中展示了强大的序列建模能力，尤其适用于自然语言理解和生成任务。
Transformer Assemble（PART III）
01-06
Self-Attention with RPR from Google，NAACL2018 Self-Attention with SPR from Tencent，EMNLP 2019 TENER from FDU Encoding Word Order in Complex Embedding，ICLR2020 1、Self-Attention with Relative ...
torch如何手动实现attention层？
04-02
super(Attention, self).__init__() self.input_dim = input_dim self.W = nn.Linear(input_dim, input_dim) self.V = nn.Linear(input_dim, 1, bias=False) ``` 在这个类中，我们继承了PyTorch的`nn.Module`，...
Transformer Model: Attention without RNN
10-15
深入浅出理解Attention机制 深入浅出理解Transformer原理 Transformer Model Attention for Seq2Seq Model Attention without RNN Self-Attention without RNN
多语言语义角色标注联合学习方法
03-12
本文提出的【基于Self-Attention的多语言语义角色标注联合学习方法】创新性地利用了双向长短期记忆网络（Bidirectional LSTM, BiLSTM）和自注意力机制（self-attention）。BiLSTM是一种深度学习模型，能有效地捕捉...
Attention_self attention_multi head attention
08-08
该文档主要介绍了attention及其变种self attention 、multi-attention以及一些相关的paper
attention各种形式总结
热门推荐
向着星辰大海
06-23 6万+
hard attention 记stst s_{t} 为decoder第 t 个时刻的attention所关注的位置编号 stistis_{ti} 表示第 t 时刻 attention 是否关注位置 i stisti s_{ti} 服从多元伯努利分布(multinoulli distribution)， 对于任意的 t , sti,i=1,2,...,Lsti,i=1,2,...,Ls_{t...
SAGPool - Self-Attention Graph Pooling 图分类 图池化方法 ICML 2019
知行合一，止于至善
11-30 1万+
文章目录1 相关介绍背景创新性2 相关工作基于拓扑的池化全局池化分层池化3 方法3.1 基于self-attention的图池化方法：SAGPoolSelf-attention mask图池化SAGPool的变种3.2 模型架构卷积层readout层全局池化架构分层池化架构4 实验数据集GNNs的评估训练过程BaselinesSAGPool的变种结果总结5 分析全局池化和分层池化考虑图拓扑结构的影...
Self-Attention GAN 中的 self-attention 机制
和而不流
03-06 7270
Self-Attention GAN 中的 self-attention 机制 文章目录Self-Attention GAN 中的 self-attention 机制1 论文简介2 Self-Attention3总结4参考文献 转载自：里昂中央理工博士在读 尹相楠： https://mp.weixin.qq.com/s?__biz=MzIwMTc4ODE0Mw==&mid=2247495...
从头理解self-attention机制
qq_42368281的博客
01-18 2613
注意力机制中较为重要的是self-attention机制，直接做了个小白能看懂的总结，也便于自己复习。
自注意力(self-attention)
s1162276945的博客
05-08 3684
注意力机制不仅能用来处理编码器或前面的隐藏层，它同样还能用来获得其他特征的分布，例如阅读理解任务中作为文本的词嵌入 (Kadlec et al., 2017) [37]。然而，注意力机制并不直接适用于分类任务，因为这些任务并不需要情感分析（sentiment analysis）等额外的信息。在这些模型中，通常我们使用 LSTM 的最终隐藏状态或像最大池化和平均池化那样的聚合函数来表征句子。 自注...
self attention（自注意力机制）
jesseyule的博客
09-28 5万+
self attention是注意力机制中的一种，也是transformer中的重要组成部分，本文先重新回归一下注意力机制，再做进一步介绍。 正如之前说的，注意力机制的目的是根据我们的目标，去关注部分细节，而不是基于全局进行分析，所以核心就是如何基于目标确定我们要关注的部分，以及在找到这部分细节之后进一步进行分析。这里先以文本匹配作为例子进行介绍。 假设我们要分析两个文本是不是重复的： Iama...
详解Self-attention
m0_46483236的博客
05-12 899
self-attention用来解决什么问题呢？ 输入是一排向量，且长度可变，例子：文字处理（输入一个句子，每次长度不一样），语音（一串声音信号其实就是一排向量） 输出是什么？三种可能性 1. 对于每一个输入都有一个label，即输入输出等长，Sequence Labeling（词性标注） 2. 对于整个sequence只有一个label（句子情感判别，说话人识别） 3. 输入输出不等长，机器自己决定输出多长，Seq2Seq任务（翻译，语音辨识） 为了更好的考虑整个sequence的资讯
self-attention mechanism
最新发布
06-05
self-attention机制是一种用于机器翻译和自然语言处理中的重要技术，它可以使模型更好地理解输入序列中不同位置之间的关系。self-attention机制将输入序列的每个元素转换为一个向量，然后计算这些向量之间的相似度得分，最后根据得分对每个元素进行加权平均，以得到一个加权表示，这个表示会捕获输入序列中每个元素的不同重要性。在Transformer等深度学习模型中，self-attention机制被广泛使用，以取代传统的循环神经网络结构。 下面是一个self-attention机制的python实现代码示例[^1]： ```python import torch import torch.nn.functional as F def self_attention(inputs): batch_size, seq_len, hidden_size = inputs.size() # 计算Q、K、V Q = inputs K = inputs V = inputs # 分别计算Q、K的点积得分 attention_scores = torch.matmul(Q, K.transpose(1, 2)) # 通过缩放因子进行缩放 attention_scores_scaled = attention_scores / (hidden_size ** 0.5) # 对每个序列位置的得分进行softmax归一化 attention_weights = F.softmax(attention_scores_scaled, dim=-1) # 对V进行加权求和 attention_output = torch.matmul(attention_weights, V) return attention_output # 测试 inputs = torch.rand(2, 5, 10) # 输入张量大小为[batch_size, seq_len, hidden_size] outputs = self_attention(inputs) print(outputs.size()) # 输出结果应该是[2, 5, 10] ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值