attention和selfattention

最新推荐文章于 2024-03-08 11:19:04 发布
最新推荐文章于 2024-03-08 11:19:04 发布
阅读量890 收藏 2
点赞数 1
分类专栏： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41557627/article/details/107242896
版权

selfattentiom的优点

很明显，引入Self Attention后会更容易捕获句子中长距离的相互依赖的特征，因为如果是RNN或者LSTM，需要依次序序列计算，对于远距离的相互依赖的特征，要经过若干时间步步骤的信息累积才能将两者联系起来，而距离越远，有效捕获的可能性越小。

但是SelfAttention在计算过程中会直接将句子中任意两个单词的联系通过一个计算步骤直接联系起来，所以远距离依赖特征之间的距离被极大缩短，有利于有效地利用这些特征。除此外，SelfAttention对于增加计算的并行性也有直接帮助作用。

这是为何有了attention还要引出Self Attention的主要原因。

attention和selfattention的区别

在一般任务的Encoder-Decoder框架中，输入Source和输出Target内容是不一样的，比如对于英-中机器翻译来说，Source是英文句子，Target是对应的翻译出的中文句子，Attention机制发生在Target的元素Query和Source中的所有元素之间。而SelfAttention顾名思义，指的不是Target和Source之间的Attention机制，而是Source内部元素之间或者Target内部元素之间发生的Attention机制，也可以理解为Target=Source这种特殊情况下的注意力计算机制。其具体计算过程是一样的，只是计算对象发生了变化而已，所以此处不再赘述其计算过程细节。

Encoder-Decoder(attention)pytorch实战

attention is all you need实战

致谢

https://zhuanlan.zhihu.com/p/37601161
http://163.lu/JCrot3

奔波儿大王
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Self-Attention与Transformer
01-07
1.由来 在Transformer之前，做翻译的时候，一般用基于RNN的Encoder-Decoder模型。从X翻译到Y。 但是这种方式是基于RNN模型，存在两个问题。 一是RNN存在梯度消失的问题。（LSTM/GRU只是缓解这个问题） 二是RNN 有时间上的方向性，不能用于并行操作。Transformer 摆脱了RNN这种问题。 2.Transformer 的整体框架 输入的x1,x2x_{1},x_{2}x1​,x2​，共同经过Self-attention机制后，在Self-attention中实现了信息的交互，分别得到了z1,z2z_{1},z_{2}z1​,z2​，将z1,z2
注意力机制（Attention）、自注意力机制(Self Attention)和多头注意力(Multi-head Self Attention)机制详解
CV在读
11-13 4043
简单理解：多组自注意力机制并行运行，最后把结果拼接起来。
Attention 和 Self-Attention 总结
安静的软件工程师
03-08 1122
Attention 和 Self-Attention 总结
Attention和Self-attention之间的区别
qq_41744697的博客
01-27 9107
介绍一下Attention和Self-attention之间的区别 一般在自然语言处理应用里会把Attention模型看作是输出Target句子中某个单词和输入Source句子每个单词的对齐模型，这是非常有道理的。 目标句子生成的每个单词对应输入句子单词的概率分布可以理解为输入句子单词和这个目标生成单词的对齐概率，这在机器翻译语境下是非常直观的：传统的统计机器翻译一般在做的过程中会专门有一个短语对齐的步骤，而注意力模型其实起的是相同的作用。 在一般任务的Encoder-Decoder框架中，输入Sourc
浅谈Attention与Self-Attention，一起感受注意力之美
little_spice的博客
07-29 2701
2017年的某一天,Google机器翻译团队发表了《AttentionisAllYouNeed》这篇论文，犹如一道惊雷，Attention横空出世了！（有一说一，这标题也太他喵嚣张了，不过人家有这个资本(oﾟ▽ﾟ)o）很快Attention就被推上了神坛，搭载着犹如核弹的Transformer，Bert出现了，在NLP的各个任务上屠榜，后来预训练模型遍地开花，在NLP的各个领域大放异彩。让人一度觉得NLP只需要一个Transformer就够了。......
attention与self attention的区别
十三
10-31 9415
1 什么是注意力机制？ 当我们观察某件事物/景色的时候，往往会先简单看下周围环境，然后将重点放在某一重要部分。深度学习中的注意力机制从本质上讲和人类的选择性视觉注意力机制类似，也是从众多信息中选择出对当前任务目标更关键的信息。下图形象化展示了人类在看到一副图像时是如何高效分配有限的注意力资源的，其中红色区域表明视觉系统更关注的目标，很明显对于下图所示的场景，人们会把注意力更多投入到人的脸部，文本的标题以及文章首句等位置。 2 从encoder和decode说起 encoder-decode框架在自然语言处
NLP：Attention和self-attention的区别
qq_41413211的博客
10-07 749
也就是说，查询、键、和值都来自于同一个地方，即输入序列和输出序列是相同的，即模型在生成每一个输出时都对自己的所有输入（包括自己）进行加权求和。核心思想是根据不同的上下文为不同的信息分配不同的注意力权重。2. Q，K，V需要遵循attention的做法。1. Q=K=V（同源）
Attention 和 self-attention 的区别
zzk0126的博客
10-11 157
https://zhuanlan.zhihu.com/p/489431520
Attention_self attention_multi head attention
08-08
该文档主要介绍了attention及其变种self attention 、multi-attention以及一些相关的paper
Self-Attention-Keras：自我关注与文本分类
02-03
自关注与文本分类 本仓库基于自关注机制实现文本分类。...$ python imdb_attention.py 比较结果 算法 训练时间（每纪元） Val准确率 Val损失 所需Epoch数 LSTM 116秒 0.8339 0.3815 2 双向LSTM
SelfAttention.py
08-17
自注意力机制Self Attention——Pytorch源代码
从三大顶会论文看百变Self-Attention - self-attention的相关思想以及最新的研究进展.zip
11-11
从三大顶会论文看百变Self-Attention，i.e.,了解并熟悉self-attention的相关思想以及最新的研究进展。另外，一并附上一个self-attention论文集仓库（https://github.com/PengboLiu/NLP-Papers）
NLP面试常考知识点
weixin_41287060的博客
06-17 542
心血来潮，整理NLP常考内容TransformerAttention 和 Self-Attention的区别是什么？三级目录 Transformer Attention 和 Self-Attention的区别是什么？ 三级目录
Attention和Self-attention的比较和区别
qq_45571006的博客
04-18 516
Attention是给出QKV，KV往往是相同的，通过Q这个查询变量，查询V里面的关键信息。把关键信息整合到V里面，得到Z。其实Z就是V的一个新的特征表征（更加完善）。给定一个X，通过自注意力模型，得到一个Z，这个Z就是对X的新的表征（词向量），Z这个词向量相比较X拥有了句法特征和语义特征。Self-attention是attention的一个具体做法，要求QKV同源只不过是做了三组不同的线性变换而已。如下图，求每句话中的单词的相似度。如果Q和V不同源，但是K和V同源那么称为交叉注意力机制。
【注意力机制的区分】Attention、Self-Attention、Multi-Head Attention
weixin_44943389的博客
10-24 567
总的来说，Attention 是一种在序列数据处理中用于动态聚焦于关键部分的技术，Self-Attention 是一种特殊的注意力机制，允许模型在序列内部不同位置之间建立动态关系，而 Multi-Head Attention 则是对自注意力的扩展，允许模型学习多组不同的自注意力权重，以提升模型的表达能力。这些技术在 Transformer 模型中取得了巨大成功，被广泛应用于自然语言处理等领域。这三个概念都是在深度学习中与序列数据处理以及自注意力机制（Self-Attention）相关的重要技术。
self-attention和attention区别
热门推荐
weixin_43758551的博客
08-05 1万+
在一般任务的Encoder-Decoder框架中，输入Source和输出Target内容是不一样的，比如对于英-中机器翻译来说，Source是英文句子，Target是对应的翻译出的中文句子， Attention机制发生在Target的元素Query和Source中的所有元素之间。------------------------------------------------------------...
Attention与Self-Attention
renxingshen2022的博客
02-22 1014
简单描述记录Attention与Self-Attention，回顾Self-Attention中QKV的由来。
attention 和 self attention
最新发布
04-13
Attention是一种机制，用于在机器学习和自然语言处理中，将输入序列中的不同部分赋予不同的权重，以便在处理过程中更加关注重要的信息。而Self-Attention是Attention的一特殊形式，它用于计算输入列中各个元素之间的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值