Attention和Self-attention之间的区别

最新推荐文章于 2024-08-12 10:15:59 发布
最新推荐文章于 2024-08-12 10:15:59 发布
阅读量9.3k 收藏 16
点赞数 4
文章标签： python 自然语言处理 机器学习
原文链接：https://blog.csdn.net/weixin_44538273/article/details/86501056
版权

介绍一下Attention和Self-attention之间的区别

  • 一般在自然语言处理应用里会把Attention模型看作是输出Target句子中某个单词和输入Source句子每个单词的对齐模型，这是非常有道理的。
  • 目标句子生成的每个单词对应输入句子单词的概率分布可以理解为输入句子单词和这个目标生成单词的对齐概率，这在机器翻译语境下是非常直观的：传统的统计机器翻译一般在做的过程中会专门有一个短语对齐的步骤，而注意力模型其实起的是相同的作用。
  • 在一般任务的Encoder-Decoder框架中，输入Source和输出Target内容是不一样的，比如对于英-中机器翻译来说，Source是英文句子，Target是对应的翻译出的中文句子，Attention机制发生在Target的元素Query和Source中的所有元素之间。而Self Attention顾名思义，指的不是Target和Source之间的Attention机制，而是Source内部元素之间或者Target内部元素之间发生的Attention机制，也可以理解为Target=Source这种特殊情况下的注意力计算机制。其具体计算过程是一样的，只是计算对象发生了变化而已

细节查看：[NLP]Attention机制与self-Attention机制https://blog.csdn.net/weixin_44538273/article/details/86501056

我真是啥也不会
关注
NLP：Attention和self-attention的区别
qq_41413211的博客
10-07 1016
也就是说，查询、键、和值都来自于同一个地方，即输入序列和输出序列是相同的，即模型在生成每一个输出时都对自己的所有输入（包括自己）进行加权求和。核心思想是根据不同的上下文为不同的信息分配不同的注意力权重。2. Q，K，V需要遵循attention的做法。1. Q=K=V（同源）
attention与self-attention
小k要加油的博客
12-25 828
因为seq2seq模型容易遗忘掉部分信息，引入attention模型，它可以大幅度提高seq2eq模型 下图横轴是输入得句子长度，纵轴是模型评价值，BLEU越高说明翻译越准确，可以看到，当字数很长时，翻译得准确率就会降低 优点： 在attention的机制下，decoder每次更新状态时都会看一眼encoder的所有状态向量避免遗忘，attention还会告诉decoder应该关注哪一个状态（这也是名字的由来） 缺电： 计算量非常大 过程： 在encoder输入完最后一个状态向量hm时，de
Mutli-Head Attention 和 Self-Attention 的区别与联系
weix1235的博客
11-21 1876
最近在阅读论文的过程中接触到了Multi-Head Attention的结构，脑子里的第一反应是都叫Attention，那Mutli-Head Attention 和 Self-Attention 之间是什么关系呢？ 在网上查阅资料，记笔记，总结一下。 首先，简单介绍一下multi-head attention，我最早接触到这种结构是在Transformer的编码器结构中，不知道这种编码器结构并不影响你去了解multi-head attention。简单来说它是一种多个不同表示空间的获取方法，如果以文本识别
NLP面试常考知识点
weixin_41287060的博客
06-17 577
心血来潮，整理NLP常考内容TransformerAttention 和 Self-Attention的区别是什么？三级目录 Transformer Attention 和 Self-Attention的区别是什么？ 三级目录
【面试】解释Attention和Self-Attention的区别
最新发布
Lewiz_124的博客
08-12 1076
是一种用于处理序列间关系的机制，允许模型选择性地关注输入序列的不同部分，广泛应用于机器翻译、图像字幕生成等任务。是Attention的一种特殊形式，用于建模同一序列内元素之间的关系，特别适合处理长序列数据，并且是Transformer模型的核心机制。
attention与self attention的区别
十三
10-31 9494
1 什么是注意力机制？ 当我们观察某件事物/景色的时候，往往会先简单看下周围环境，然后将重点放在某一重要部分。深度学习中的注意力机制从本质上讲和人类的选择性视觉注意力机制类似，也是从众多信息中选择出对当前任务目标更关键的信息。下图形象化展示了人类在看到一副图像时是如何高效分配有限的注意力资源的，其中红色区域表明视觉系统更关注的目标，很明显对于下图所示的场景，人们会把注意力更多投入到人的脸部，文本的标题以及文章首句等位置。 2 从encoder和decode说起 encoder-decode框架在自然语言处
浅谈Attention与Self-Attention，一起感受注意力之美
little_spice的博客
07-29 2772
2017年的某一天,Google机器翻译团队发表了《AttentionisAllYouNeed》这篇论文，犹如一道惊雷，Attention横空出世了！（有一说一，这标题也太他喵嚣张了，不过人家有这个资本(oﾟ▽ﾟ)o）很快Attention就被推上了神坛，搭载着犹如核弹的Transformer，Bert出现了，在NLP的各个任务上屠榜，后来预训练模型遍地开花，在NLP的各个领域大放异彩。让人一度觉得NLP只需要一个Transformer就够了。......
Attention 和 Self-Attention 总结
安静的软件工程师
03-08 1432
Attention 和 Self-Attention 总结
Self-Attention-Keras：自我关注与文本分类
02-03
自关注与文本分类 本仓库基于自关注机制实现文本分类。...$ python imdb_attention.py 比较结果 算法 训练时间（每纪元） Val准确率 Val损失 所需Epoch数 LSTM 116秒 0.8339 0.3815 2 双向LSTM
Attention和Self-attention的比较和区别
qq_45571006的博客
04-18 619
Attention是给出QKV，KV往往是相同的，通过Q这个查询变量，查询V里面的关键信息。把关键信息整合到V里面，得到Z。其实Z就是V的一个新的特征表征（更加完善）。给定一个X，通过自注意力模型，得到一个Z，这个Z就是对X的新的表征（词向量），Z这个词向量相比较X拥有了句法特征和语义特征。Self-attention是attention的一个具体做法，要求QKV同源只不过是做了三组不同的线性变换而已。如下图，求每句话中的单词的相似度。如果Q和V不同源，但是K和V同源那么称为交叉注意力机制。
Attention 和 self-attention 的区别
zzk0126的博客
10-11 175
https://zhuanlan.zhihu.com/p/489431520
self-attention和attention区别
weixin_43758551的博客
08-05 1万+
在一般任务的Encoder-Decoder框架中，输入Source和输出Target内容是不一样的，比如对于英-中机器翻译来说，Source是英文句子，Target是对应的翻译出的中文句子， Attention机制发生在Target的元素Query和Source中的所有元素之间。------------------------------------------------------------...
Attention与Self-Attention
renxingshen2022的博客
02-22 1116
简单描述记录Attention与Self-Attention，回顾Self-Attention中QKV的由来。
总结Attention与Self-Attention之间的区别
qq_41657873的博客
03-15 849
简单总结 在一般任务的Encoder-Decoder框架中，输入Source和输出Target内容是不一样的，比如对于英-中机器翻译来说，Source是英文句子，Target是对应的翻译出的中文句子，Attention机制发生在Target的元素Query和Source中的所有元素之间。而Self Attention顾名思义，指的不是Target和Source之间的Attention机制，而是Source内部元素之间或者Target内部元素之间发生的Attention机制，也可以理解为Target=Sour
注意力机制（attention）和自注意力机制（self-attention）
m0_54180573的博客
01-22 2989
本文参考了b站博主蘅芜仙菌的视频以及文章如有侵权，联系删除。注意力机制其实是源自于人对于外部信息的处理能力。由于人每一时刻接受的信息都是无比的庞大且复杂，远远超过人脑的处理能力，因此人在处理信息的时候，会将注意力放在需要关注的信息上，对于其他无关的外部信息进行过滤，这种处理方式被称为注意力机制。针对于注意力机制的引起方式，可以分为两类，一种是非自主提示，另一种是自主提示。
【注意力机制的区分】Attention、Self-Attention、Multi-Head Attention
weixin_44943389的博客
10-24 668
总的来说，Attention 是一种在序列数据处理中用于动态聚焦于关键部分的技术，Self-Attention 是一种特殊的注意力机制，允许模型在序列内部不同位置之间建立动态关系，而 Multi-Head Attention 则是对自注意力的扩展，允许模型学习多组不同的自注意力权重，以提升模型的表达能力。这些技术在 Transformer 模型中取得了巨大成功，被广泛应用于自然语言处理等领域。这三个概念都是在深度学习中与序列数据处理以及自注意力机制（Self-Attention）相关的重要技术。
Attention机制与Self-Attention机制的区别
热门推荐
At_a_lost的博客
09-08 4万+
本文主要讲解Attention机制与Self-Attention机制的区别，默认读者已经了解过Attention、Self-Attention、Transformer、seq2seq model。 传统的Attention机制在一般任务的Encoder-Decoder model中，输入Source和输出Target内容是不一样的，比如对于英-中机器翻译来说，Source是英文句子，Target是对应的翻译出的中文句子，Attention机制发生在Target的元素Query和...
attention和selfattention
qq_41557627的博客
07-10 920
selfattentiom的优点 很明显，引入Self Attention后会更容易捕获句子中长距离的相互依赖的特征，因为如果是RNN或者LSTM，需要依次序序列计算，对于远距离的相互依赖的特征，要经过若干时间步步骤的信息累积才能将两者联系起来，而距离越远，有效捕获的可能性越小。 但是SelfAttention在计算过程中会直接将句子中任意两个单词的联系通过一个计算步骤直接联系起来，所以远距离依赖特征之间的距离被极大缩短，有利于有效地利用这些特征。除此外，SelfAttention对于增加计算的并行性也有直
cross-attention和 self-attention区别
09-17
Cross-attention和self-attention是在Transformer模型中使用的两种注意力机制。它们的区别在于所关注的对象不同。 Self-attention是指模型对输入序列中的每个位置都计算一个权重，用这些权重对所有位置进行加权求和，以获取每个位置在序列中的重要性。在self-attention中，每个位置都可以同时关注到序列中的其他位置，因此可以捕捉到全局的依赖关系。 而cross-attention是指模型在进行注意力计算时，除了考虑输入序列内部的依赖关系，还考虑了与之相关的另一个输入序列。通常在机器翻译任务中，编码器会对源语言序列进行self-attention计算，而解码器在生成目标语言序列时，则需要同时考虑源语言序列的信息，这就需要使用cross-attention来关注源语言序列中与目标位置相关的信息。Cross-attention允许模型根据目标位置的需求来选择源语言序列中的相关部分进行注意力计算，从而更好地捕捉跨序列的依赖关系。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值