self-attention和attention区别

最新推荐文章于 2024-06-10 12:52:01 发布
最新推荐文章于 2024-06-10 12:52:01 发布
阅读量1w 收藏 13
点赞数 13
分类专栏： NLP 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43758551/article/details/98478486
版权

在一般任务的Encoder-Decoder框架中，输入Source和输出Target内容是不一样的，比如对于英-中机器翻译来说，Source是英文句子，Target是对应的翻译出的中文句子，

Attention机制发生在Target的元素Query和Source中的所有元素之间。-----------------------------------------------------------------------------------------

而Self Attention顾名思义，指的不是Target和Source之间的Attention机制，而是Source内部元素之间或者Target内部元素之间发生的Attention机制，也可以理解为Target=Source这种特殊情况下的注意力计算机制。

其具体计算过程是一样的，只是计算对象发生了变化而已，所以此处不再赘述其计算过程细节。

https://zhuanlan.zhihu.com/p/37601161

丁叔叔
关注
  • 13
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Attention 和 Self-Attention 总结
安静的软件工程师
03-08 1286
Attention 和 Self-Attention 总结
NLP面试常考知识点
weixin_41287060的博客
06-17 554
心血来潮，整理NLP常考内容TransformerAttention 和 Self-Attention的区别是什么？三级目录 Transformer Attention 和 Self-Attention的区别是什么？ 三级目录
Self-Attention （自注意力机制）
最新发布
qq_53474200的博客
06-10 860
本篇文章是机器学习的笔记（简化版）
Attention和Self-attention之间的区别
qq_41744697的博客
01-27 9232
介绍一下Attention和Self-attention之间的区别 一般在自然语言处理应用里会把Attention模型看作是输出Target句子中某个单词和输入Source句子每个单词的对齐模型，这是非常有道理的。 目标句子生成的每个单词对应输入句子单词的概率分布可以理解为输入句子单词和这个目标生成单词的对齐概率，这在机器翻译语境下是非常直观的：传统的统计机器翻译一般在做的过程中会专门有一个短语对齐的步骤，而注意力模型其实起的是相同的作用。 在一般任务的Encoder-Decoder框架中，输入Sourc
attention和selfattention
qq_41557627的博客
07-10 899
selfattentiom的优点 很明显，引入Self Attention后会更容易捕获句子中长距离的相互依赖的特征，因为如果是RNN或者LSTM，需要依次序序列计算，对于远距离的相互依赖的特征，要经过若干时间步步骤的信息累积才能将两者联系起来，而距离越远，有效捕获的可能性越小。 但是SelfAttention在计算过程中会直接将句子中任意两个单词的联系通过一个计算步骤直接联系起来，所以远距离依赖特征之间的距离被极大缩短，有利于有效地利用这些特征。除此外，SelfAttention对于增加计算的并行性也有直
Attention 和 self-attention 的区别
zzk0126的博客
10-11 163
https://zhuanlan.zhihu.com/p/489431520
Self-Attention-Keras：自我关注与文本分类
02-03
自关注与文本分类 本仓库基于自关注机制实现文本分类。...$ python imdb_attention.py 比较结果 算法 训练时间（每纪元） Val准确率 Val损失 所需Epoch数 LSTM 116秒 0.8339 0.3815 2 双向LSTM
Self-Attention与Transformer
01-07
1.由来 在Transformer之前，做翻译的时候，一般用基于RNN的...输入的x1,x2x_{1},x_{2}x1​,x2​，共同经过Self-attention机制后，在Self-attention中实现了信息的交互，分别得到了z1,z2z_{1},z_{2}z1​,z2​，将z1,z2
keras-self-attention:处理顺序数据的注意力机制，考虑每个时间戳的上下文
05-31
以下代码创建了一个注意力层，它遵循第一部分中的方程（ attention_activation是e_{t, t'}的激活函数）： import kerasfrom keras_self_attention import SeqSelfAttentionmodel = keras . models . Sequential ()...
从三大顶会论文看百变Self-Attention - self-attention的相关思想以及最新的研究进展.zip
11-11
从三大顶会论文看百变Self-Attention，i.e.,了解并熟悉self-attention的相关思想以及最新的研究进展。另外，一并附上一个self-attention论文集仓库（https://github.com/PengboLiu/NLP-Papers）
self-attention-cv:专注于计算机视觉的各种自我关注机制的实现。 进行中的资料库
03-05
PyTorch中计算机视觉应用程序的自注意力构建基块使用einsum和einops在PyTorch中实现计算机视觉的自我关注机制。 专注于计算机视觉自我注意模块。通过pip安装$ pip install self-attention-cv 如果您没有GPU，最好在...
NLP：Attention和self-attention的区别
qq_41413211的博客
10-07 845
也就是说，查询、键、和值都来自于同一个地方，即输入序列和输出序列是相同的，即模型在生成每一个输出时都对自己的所有输入（包括自己）进行加权求和。核心思想是根据不同的上下文为不同的信息分配不同的注意力权重。2. Q，K，V需要遵循attention的做法。1. Q=K=V（同源）
Attention和Self-attention的比较和区别
qq_45571006的博客
04-18 557
Attention是给出QKV，KV往往是相同的，通过Q这个查询变量，查询V里面的关键信息。把关键信息整合到V里面，得到Z。其实Z就是V的一个新的特征表征（更加完善）。给定一个X，通过自注意力模型，得到一个Z，这个Z就是对X的新的表征（词向量），Z这个词向量相比较X拥有了句法特征和语义特征。Self-attention是attention的一个具体做法，要求QKV同源只不过是做了三组不同的线性变换而已。如下图，求每句话中的单词的相似度。如果Q和V不同源，但是K和V同源那么称为交叉注意力机制。
注意力机制（attention）和自注意力机制（self-attention）
m0_54180573的博客
01-22 2203
本文参考了b站博主蘅芜仙菌的视频以及文章如有侵权，联系删除。注意力机制其实是源自于人对于外部信息的处理能力。由于人每一时刻接受的信息都是无比的庞大且复杂，远远超过人脑的处理能力，因此人在处理信息的时候，会将注意力放在需要关注的信息上，对于其他无关的外部信息进行过滤，这种处理方式被称为注意力机制。针对于注意力机制的引起方式，可以分为两类，一种是非自主提示，另一种是自主提示。
attention与self attention的区别
十三
10-31 9448
1 什么是注意力机制？ 当我们观察某件事物/景色的时候，往往会先简单看下周围环境，然后将重点放在某一重要部分。深度学习中的注意力机制从本质上讲和人类的选择性视觉注意力机制类似，也是从众多信息中选择出对当前任务目标更关键的信息。下图形象化展示了人类在看到一副图像时是如何高效分配有限的注意力资源的，其中红色区域表明视觉系统更关注的目标，很明显对于下图所示的场景，人们会把注意力更多投入到人的脸部，文本的标题以及文章首句等位置。 2 从encoder和decode说起 encoder-decode框架在自然语言处
浅谈Attention与Self-Attention，一起感受注意力之美
little_spice的博客
07-29 2741
2017年的某一天,Google机器翻译团队发表了《AttentionisAllYouNeed》这篇论文，犹如一道惊雷，Attention横空出世了！（有一说一，这标题也太他喵嚣张了，不过人家有这个资本(oﾟ▽ﾟ)o）很快Attention就被推上了神坛，搭载着犹如核弹的Transformer，Bert出现了，在NLP的各个任务上屠榜，后来预训练模型遍地开花，在NLP的各个领域大放异彩。让人一度觉得NLP只需要一个Transformer就够了。......
Attention机制与Self-Attention机制的区别
热门推荐
At_a_lost的博客
09-08 4万+
本文主要讲解Attention机制与Self-Attention机制的区别，默认读者已经了解过Attention、Self-Attention、Transformer、seq2seq model。 传统的Attention机制在一般任务的Encoder-Decoder model中，输入Source和输出Target内容是不一样的，比如对于英-中机器翻译来说，Source是英文句子，Target是对应的翻译出的中文句子，Attention机制发生在Target的元素Query和...
[LLM] 自然语言处理 --- Self-Attention(一) 基本介绍
摩登都市天空---专栏
10-22 4181
一 Self Attention Self Attention也经常被称为intra Attention（内部Attention），最近一年也获得了比较广泛的使用，比如Google最新的机器翻译模型内部大量采用了Self Attention模型。 在一般任务的Encoder-Decoder框架中，输入Source和输出Target内容是不一样的，比如对于英-中机器翻译来说，Source是英文句...
Self-Attention详解
David's Notes
10-14 660
文章目录11. Self-Attention11.1 Introduction11.2 Training11.2.1 初始化11.2.2 计算 h1h_1h1​11.2.3 计算 c1c_1c1​11.2.4 计算 h2h_2h2​11.2.5 计算 c2c_2c2​11.2.6 计算 h3h_3h3​11.2.7 计算 c3c_3c3​11.3 Summary 11. Self-Attention 11.1 Introduction Seq2Seq 模型有两个RNN网络，一个 Encoder，一个 Dec
cross-attention和 self-attention区别
09-17
Cross-attention和self-attention是在Transformer模型中使用的两种注意力机制。它们的区别在于所关注的对象不同。 Self-attention是指模型对输入序列中的每个位置都计算一个权重，用这些权重对所有位置进行加权求和...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值