Attention、self-attention：从计算、公式的角度详解

最新推荐文章于 2024-04-23 22:26:12 发布
最新推荐文章于 2024-04-23 22:26:12 发布
阅读量673 收藏
点赞数
分类专栏： 深度学习 nlp 文章标签： 深度学习 自然语言处理 人工智能 attention机制
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ZcsLv_zyq/article/details/121990437
版权
本文详细介绍了注意力机制（attention）和自注意力（self-attention）的概念，以机器翻译和RNN-Seq2Seq模型为例，探讨了注意力机制在模型中的作用。文章通过分析不同的计算方式，如softmax归一化，解释了如何计算权重并形成加权平均的上下文向量。此外，还讨论了自注意力在单一RNN中的应用，如何利用当前时刻的隐藏状态与历史状态的相关性来解决RNN的遗忘问题，从而增强模型的信息捕获能力。
摘要由CSDN通过智能技术生成

参考：

这个视频量短而精

https://www.youtube.com/watch?v=XhWdv7ghmQQ

GitHub - wangshusen/DeepLearning

 

以机器翻译、rnn-seq2se2引入attention为例

1.attention

最早提出attention的是15年的这篇论文

 在encoder结束之后，output一个全局的s0,这包含了h1...hm的所有信息，同时s0也作为decoder的input。

用权重apha表示s和h的相关性，（相关性越高，权重越大）。

encoder有m个状态，所以一共有m个apha,这里所有

最低0.47元/天 解锁文章
ZcsLv_zyq
关注
专栏目录
attention与self-attention
小k要加油的博客
12-25 852
因为seq2seq模型容易遗忘掉部分信息，引入attention模型，它可以大幅度提高seq2eq模型 下图横轴是输入得句子长度，纵轴是模型评价值，BLEU越高说明翻译越准确，可以看到，当字数很长时，翻译得准确率就会降低 优点： 在attention的机制下，decoder每次更新状态时都会看一眼encoder的所有状态向量避免遗忘，attention还会告诉decoder应该关注哪一个状态（这也是名字的由来） 缺电： 计算量非常大 过程： 在encoder输入完最后一个状态向量hm时，de
self-attention模型理解
weixin_41168869的博客
06-07 1026
self-attention模型理解
Self-Attention机制的计算详解
qq_41915623的博客
06-07 1万+
​ 个人理解，就是对参数进行“加权求和”。​ 其中，XXX表示输入的数据，Q,K,VQ,K,VQ,K,V对应内容如图，其值都是通过XXX和超参（先初始化，后通过训练优化）进行矩阵运算得来的。​ 结合代码进行理解：Step1： 初始化WQ,WK,WVW^Q , W^K,W^VWQ,WK,WV矩阵 ​ 假设三种操作的输入都是同等维度的矩阵，这里每个特征维度都是768.即三者的维度： WQ.shape=[768,768]WK.shape=[768,768]WV.shape=[768,768] W^Q.sh
Self-attention计算方法
weixin_43282288的博客
12-12 4281
首先，Inputs为x1~x4，是一个sequence，每一个Input先通过一个Embedding，乘上一个Matrix得到(a1,a4)，然后放入self-attention 在self-attention当中，每一个Input都分别乘上3个不同的Matrix产生3个不同的Vector，分别命名为q，k，v q代表query，to match others，每一个Input都乘上一个Mat...
Self-Attention计算详解
laolu1573的专栏
03-06 3586
第一步 准备输入向量（本例子里是每个单词的embedding），对每个单词创建Query向量、Key向量、Value向量。这些向量是单词embedding和三个转换矩阵(W_Q、W_K、W_V)相乘得到，这三个矩阵是在训练中学习得到的。 注意到这些新向量的维度比输入词向量的维度要小（512–>64），并不是必须要小的，这种结构是为了让multiheaded attention的计算更稳定。 第二步 self-attention计算的第二个步骤是一个计算分值。这里我们计算 “Thinking Matc
Attention 和 Self-Attention 总结
安静的软件工程师
03-08 1523
Attention 和 Self-Attention 总结
超平实版Pytorch Self-Attention: 参数详解(尤其是mask)(使用nn.MultiheadAttention)
热门推荐
狗狗狗大王的博客
06-17 4万+
目录Self-Attention的结构图forward输入中的query、key、valueforward的输出实例化一个nn.MultiheadAttention进行forward操作关于maskReference Self-Attention的结构图 本文侧重于Pytorch中对self-attention的具体实践，具体原理不作大量说明，self-attention的具体结构请参照下图。 (图中为输出第二项attention output的情况,k与q为key、query的缩写) 本文中将使用Pyt
【Linformer：Self-Attention with Linear Complexity】
gesshoo的博客
03-18 2636
论文中，展示了自注意力机制可以被一个低秩矩阵近似，利用这一发现提出了新的自注意力机制，将空间与时间计算复杂度降低到O(n)。 作者发现自注意力是低秩的，通过线性投影将原本的点乘注意力分解为多个较小的注意力，使这些运算的组合形成原始注意力的低秩因式分解。 下表是不同transformer架构的复杂度汇总： 理论： 自注意力机制矩阵，context mapping matrix P，是低秩的。 左边的图，将奇异值分解在不同的层和头运用到P， 画出每10K个句子的归一化累积奇异值平均值，结果显示
详解Self-attention与Transformer1
08-03
在Self-attention中，对于输入序列的每个位置的向量，它首先计算该位置与序列中所有其他位置的向量之间的相关性。这个过程可以分为三个主要步骤： 1. **Query、Key和Value的计算**： - Query：使用一个权重矩阵Wq...
详细介绍Stand-Alone Self-Attention in CV中的公式
拒绝任何因懒惰而生的省略号
09-13 1421
论文：Stand-Alone Self-Attention in Vision Models 因为我看这个文章的时候跳过了很多之前self-attention的知识，对公式的理解花了一段时间，所以这里主要写公式的理解，权当笔记。 前言： 卷积神经网络(CNN)通常学习小范围(kernel sizes)的局部特征，对于输入x∈Rh×w×dinx∈\mathbb{R}^{h×w×d_{in}}x∈Rh×w×din​，定义局部像素集 Nk\mathcal{N}_kNk​ ,为像素xi,jx_{i,j}xi,j​​
Attention机制的具体计算过程
qq_42262610的博客
01-09 2582
一个输入，经过embedding+位置编码后得到最终的输入X（512维），最终的输入X与矩阵参数WQ（512*64维）相乘，得到Query；与矩阵参数WK（512*64维）相乘，得到Key；与矩阵参数WV（512*64维）相乘，得到Value。Query-某个词（婴儿）转化后的输入向量-64维Key-整个句子中，每个词转化的某个向量（Key1，Key2，Key3，Key4）-64维Value-整个句子中，每个词转化的某个向量（Value1，Value2，Value3，Value4）-64维。
self-attention理解
YoJayC的博客
03-06 461
在一篇讲解S3D的文章中，文章作者提到论文“在每个3x1x1卷积后加入了Self-attention模块” 其公式如下 公式代表的意思是 “只是个普通的时空attention模块，将feature map中所有channels进行平均池化，然后进行线性映射和非线性激活，来产生时空attention map，最后权值叠加回去原feature map” 其中，X表示输入attention模块的feature map pool(X)表示将feature map中所有channels进行平均池化 W
self-attention结构、公式计算与代码实现（无位置信息）
m0_37864755的博客
12-26 415
self_attention的结构图（multi_head）： self_attention的无位置信息的前向传播计算方法与代码实现：
简单理解self-attention和attention以及计算过程
weixin_43788143的博客
08-01 1723
什么是attention 以seq2seq框架为例，输入Source和输出Target内容是不一样的，比如对一件商品的评价和总结来说，Source是一个对一件商品好评或差评的句子，Target是对应的评价的总结，Attention发生在Target的元素Query和Source中的所有元素之间。 attention主要应用在seq2seq+attention中，具体的seq2seq+attention模型和实例可以看这个：tensorflow2.0之seq2seq+attention模型和实例 attent
attention计算过程解析（原理解析）
这里是标题
06-27 1万+
Attention    attention 机制在最近的机器学习中应用广泛，并且在各个模型上都取得了良好成绩。尤其是在机器翻译中，训练出来的模型的翻译质量明显提高了一个层次。这里就简单的说一些attention的原理以及计算过程，主要是attention的计算过程的记录。    首先是基本的attention的计算过程：(这里是逆向解析的)    第一步：计算attention     这里的表...
Self-Attention 学习笔记
qq_42811373的博客
12-29 3119
Attention机制的本质 attention机制的本质是从人类视觉注意力机制中获得灵感。 大致是我们视觉在感知东西的时候，一般不会是一个场景从到头看到尾每次全部都看，而往往是根据需求观察注意特定的一部分。而且当我们发现一个场景经常在某部分出现自己想观察的东西时，我们就会进行学习在将来再出现类似场景时把注意力放到该部分上。从关注全部到关注重点 Attention机智的优势 参数少 模型复杂度跟 CNN、RNN 相比，复杂度更小，参数也更少。所以对算力的要求也就更小。 速度快 Attention 解
Transfermer中的Attention计算过程详解
Zack的博客
10-28 1238
Attention Is All You Need 论文地址：点击查看 论文pdf下载：下载pdf Attention计算过程详解 1、为编码器创建三个向量 Query , Key , Value 过程如下： 1）input的单词Thinking、Machines向量化之后变成向量x1x_1x1​、x2x_2x2​（这里假设为4维） 2）x1x_1x1​、x2x_2x2​分别乘以3个权...
Self-Attention：从点积到自注意力
最新发布
weixin_43907922的博客
04-23 1486
本文主要介绍Transformer的核心Self-Attention的原理。
self-attention详解
liaominghui123的博客
07-18 1128
self-attention 在一些问题中，比如机器翻译，语音识别，词性识别，情感识别，摘要提取等，这都是输入一些序列（文字，音频都可以转为序列）然后输出一些序列，是典型的seq2seq模型。传统seq2seq会遗忘前面的输入在这里引入self-attention来检测全图信息。传统FC链接可以用以下方法观察周围信息，但有时候输入的长度不等，window太长浪费计算资源： 自注意力层如下，你输入多少个向量，它对应的输出多少个向量，而且输出是兼顾了所有输入的全局信息的： 自注意力的工作流程如下： 1， 计算注
self-attention机制详解
04-20
Self-attention 是一种机制，它能够在一个序列中计算出各个元素之间的关联性，并根据关联性对每个元素进行加权，进而计算出序列的表示。Self-attention 主要应用于自然语言处理领域的模型，比如 Transformer。在自然...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值