Attention和Self-attention的比较和区别

已于 2023-04-18 11:18:47 修改
阅读量504 收藏
点赞数
文章标签： 学习 python
于 2023-04-18 11:18:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45571006/article/details/130216641
版权

Attention是给出QKV，KV往往是相同的，通过Q这个查询变量，查询V里面的关键信息。把关键信息整合到V里面，得到Z。其实Z就是V的一个新的特征表征（更加完善）。
在这里插入图片描述
Self-attention是attention的一个具体做法，要求QKV同源只不过是做了三组不同的线性变换而已。
如下图，求每句话中的单词的相似度。I和这句话每个单词进行QKV计算。have和这句话每个单词进行QKV计算…
给定一个X，通过自注意力模型，得到一个Z，这个Z就是对X的新的表征（词向量），Z这个词向量相比较X拥有了句法特征和语义特征。也就是说Z拥有了更多信息。

在这里插入图片描述
QKV来源不同分为不同的XXX-attention。如果Q和V不同源，但是K和V同源那么称为交叉注意力机制。

笔记来源于https://www.bilibili.com/video/BV1sN4y1g768/?spm_id_from=pageDriver&vd_source=4f67898e2b4507b9469b30d33789bb78

wsmbzd
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Self-Attention-GAN-Tensorflow-master.zip
05-29
GAN生成对抗网络 基于Tensorflow 实现去噪 以及图片生成 可自己修改图片数据集 以及迭代次数等 内附命令行 小白可上手
Self-Attention与Transformer
01-07
1.由来 在Transformer之前，做翻译的时候，一般用基于RNN的Encoder-Decoder模型。从X翻译到Y。 但是这种方式是基于RNN模型，存在两个问题。 一是RNN存在梯度消失的问题。（LSTM/GRU只是缓解这个问题） 二是RNN 有时间上的方向性，不能用于并行操作。Transformer 摆脱了RNN这种问题。 2.Transformer 的整体框架 输入的x1,x2x_{1},x_{2}x1​,x2​，共同经过Self-attention机制后，在Self-attention中实现了信息的交互，分别得到了z1,z2z_{1},z_{2}z1​,z2​，将z1,z2
Attention 和 Self-Attention 总结
最新发布
安静的软件工程师
03-08 1042
Attention 和 Self-Attention 总结
Self-Attention-ConvLSTM-sample.zip
09-09
来自Self-Attention ConvLSTM for Spatiotemporal Prediction文章的Self-Attention Module的实现。使用python3语言，tensorflow2.0框架编写。
从三大顶会论文看百变Self-Attention - self-attention的相关思想以及最新的研究进展.zip
11-11
从三大顶会论文看百变Self-Attention，i.e.,了解并熟悉self-attention的相关思想以及最新的研究进展。另外，一并附上一个self-attention论文集仓库（https://github.com/PengboLiu/NLP-Papers）
attention和selfattention
qq_41557627的博客
07-10 884
selfattentiom的优点 很明显，引入Self Attention后会更容易捕获句子中长距离的相互依赖的特征，因为如果是RNN或者LSTM，需要依次序序列计算，对于远距离的相互依赖的特征，要经过若干时间步步骤的信息累积才能将两者联系起来，而距离越远，有效捕获的可能性越小。 但是SelfAttention在计算过程中会直接将句子中任意两个单词的联系通过一个计算步骤直接联系起来，所以远距离依赖特征之间的距离被极大缩短，有利于有效地利用这些特征。除此外，SelfAttention对于增加计算的并行性也有直
浅谈Attention与Self-Attention，一起感受注意力之美
little_spice的博客
07-29 2686
2017年的某一天,Google机器翻译团队发表了《AttentionisAllYouNeed》这篇论文，犹如一道惊雷，Attention横空出世了！（有一说一，这标题也太他喵嚣张了，不过人家有这个资本(oﾟ▽ﾟ)o）很快Attention就被推上了神坛，搭载着犹如核弹的Transformer，Bert出现了，在NLP的各个任务上屠榜，后来预训练模型遍地开花，在NLP的各个领域大放异彩。让人一度觉得NLP只需要一个Transformer就够了。......
attention与self attention的区别
十三
10-31 9402
1 什么是注意力机制？ 当我们观察某件事物/景色的时候，往往会先简单看下周围环境，然后将重点放在某一重要部分。深度学习中的注意力机制从本质上讲和人类的选择性视觉注意力机制类似，也是从众多信息中选择出对当前任务目标更关键的信息。下图形象化展示了人类在看到一副图像时是如何高效分配有限的注意力资源的，其中红色区域表明视觉系统更关注的目标，很明显对于下图所示的场景，人们会把注意力更多投入到人的脸部，文本的标题以及文章首句等位置。 2 从encoder和decode说起 encoder-decode框架在自然语言处
NLP面试常考知识点
weixin_41287060的博客
06-17 540
心血来潮，整理NLP常考内容TransformerAttention 和 Self-Attention的区别是什么？三级目录 Transformer Attention 和 Self-Attention的区别是什么？ 三级目录
NLP：Attention和self-attention的区别
qq_41413211的博客
10-07 697
也就是说，查询、键、和值都来自于同一个地方，即输入序列和输出序列是相同的，即模型在生成每一个输出时都对自己的所有输入（包括自己）进行加权求和。核心思想是根据不同的上下文为不同的信息分配不同的注意力权重。2. Q，K，V需要遵循attention的做法。1. Q=K=V（同源）
Self-Attention-Keras：自我关注与文本分类
02-03
自关注与文本分类 本仓库基于自关注机制实现文本分类。...$ python imdb_attention.py 比较结果 算法 训练时间（每纪元） Val准确率 Val损失 所需Epoch数 LSTM 116秒 0.8339 0.3815 2 双向LSTM
attention机制及self-attention(transformer)
Enjoy_endless
03-20 1万+
最近接触的项目当中用到了transformer，学习相关知识之后其中一个重要的贡献就是引入了self-attention机制，了解了相关处理过程之后然而并没引起太多比较。 因为之前就已经有了attention机制，并得到了广泛的应用且取得了非常好的效果(读过一篇相关的机器翻译的文章)。 在被别人问道两者之间的区别的时候竟然却哑口无言、甚是惭愧。 今天再次把两者拿出来，拜读知乎大神之作、详尽膜拜之余...
注意力机制（attention）和自注意力机制（self-attention）
m0_54180573的博客
01-22 1722
本文参考了b站博主蘅芜仙菌的视频以及文章如有侵权，联系删除。注意力机制其实是源自于人对于外部信息的处理能力。由于人每一时刻接受的信息都是无比的庞大且复杂，远远超过人脑的处理能力，因此人在处理信息的时候，会将注意力放在需要关注的信息上，对于其他无关的外部信息进行过滤，这种处理方式被称为注意力机制。针对于注意力机制的引起方式，可以分为两类，一种是非自主提示，另一种是自主提示。
Attention和Self-attention之间的区别
qq_41744697的博客
01-27 9041
介绍一下Attention和Self-attention之间的区别 一般在自然语言处理应用里会把Attention模型看作是输出Target句子中某个单词和输入Source句子每个单词的对齐模型，这是非常有道理的。 目标句子生成的每个单词对应输入句子单词的概率分布可以理解为输入句子单词和这个目标生成单词的对齐概率，这在机器翻译语境下是非常直观的：传统的统计机器翻译一般在做的过程中会专门有一个短语对齐的步骤，而注意力模型其实起的是相同的作用。 在一般任务的Encoder-Decoder框架中，输入Sourc
Attention机制与Self-Attention机制的区别
热门推荐
At_a_lost的博客
09-08 4万+
本文主要讲解Attention机制与Self-Attention机制的区别，默认读者已经了解过Attention、Self-Attention、Transformer、seq2seq model。 传统的Attention机制在一般任务的Encoder-Decoder model中，输入Source和输出Target内容是不一样的，比如对于英-中机器翻译来说，Source是英文句子，Target是对应的翻译出的中文句子，Attention机制发生在Target的元素Query和...
Attention 和 self-attention 的区别
zzk0126的博客
10-11 156
https://zhuanlan.zhihu.com/p/489431520
【注意力机制的区分】Attention、Self-Attention、Multi-Head Attention
weixin_44943389的博客
10-24 528
总的来说，Attention 是一种在序列数据处理中用于动态聚焦于关键部分的技术，Self-Attention 是一种特殊的注意力机制，允许模型在序列内部不同位置之间建立动态关系，而 Multi-Head Attention 则是对自注意力的扩展，允许模型学习多组不同的自注意力权重，以提升模型的表达能力。这些技术在 Transformer 模型中取得了巨大成功，被广泛应用于自然语言处理等领域。这三个概念都是在深度学习中与序列数据处理以及自注意力机制（Self-Attention）相关的重要技术。
关于Attention、Self-Attention机制的理解
gailj
01-17 2133
结合李宏毅老师机器学习2021——Self-Attention课程和网上查阅的资料，总结一下对Attention机制的理解 Attention机制就是权重分布 Attention机制的核心就是，决定整段输入的哪个部分需要更加关注。 Attention机制翻译中文就是注意力机制，这就和我们人类看图片、看自然语言是一样的，我们人读一句话是有自己的关注点，重点词汇的。比如我输入一张图，我让你判断这是一只鸟，那么鸟嘴、鸟爪等等patten是很重要的，而Attention机制就是给这些patten一个权重。再比如我
cross-attention和 self-attention区别
09-17
Cross-attention和self-attention是在Transformer模型中使用的两种注意力机制。它们的区别在于所关注的对象不同。 Self-attention是指模型对输入序列中的每个位置都计算一个权重，用这些权重对所有位置进行加权求和，以获取每个位置在序列中的重要性。在self-attention中，每个位置都可以同时关注到序列中的其他位置，因此可以捕捉到全局的依赖关系。 而cross-attention是指模型在进行注意力计算时，除了考虑输入序列内部的依赖关系，还考虑了与之相关的另一个输入序列。通常在机器翻译任务中，编码器会对源语言序列进行self-attention计算，而解码器在生成目标语言序列时，则需要同时考虑源语言序列的信息，这就需要使用cross-attention来关注源语言序列中与目标位置相关的信息。Cross-attention允许模型根据目标位置的需求来选择源语言序列中的相关部分进行注意力计算，从而更好地捕捉跨序列的依赖关系。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值