Self-Attention和Transformer

最新推荐文章于 2024-04-28 11:31:32 发布
最新推荐文章于 2024-04-28 11:31:32 发布
阅读量342 收藏 3
点赞数 1
分类专栏： self-attention nlp 文章标签： 深度学习 nlp 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/silence56/article/details/113375311
版权
本文深入探讨了Transformer模型，特别是Self-Attention机制，如何通过计算Query、Key和Value之间的注意力权重来捕获序列中的依赖关系，提高模型在NLP任务中的表现。Transformer的Encoder和Decoder结构以及Self-Attention层的实现步骤逐一解析。
摘要由CSDN通过智能技术生成

文章目录

广义注意力机制模型

  • 最初Attention机制的引入，为了解决机器翻译中将长序列向定长向量转化而造成的信息损失的瓶颈。Attention即将注意力关注于翻译部分对应的上下文。关键的操作是计算encoder与decoder state之间的关联性的权重，得到Attention分布，从而对于当前输出位置得到比较重要的输入位置的权重，在预测输出时相应的会占较大的比重。
  • 通过Attention机制的引入，打破了只能利用encoder最终单一向量结果的限制，从而使模型可以集中在所有对于下一个目标单词重要的输入信息上，使模型效果得到极大的改善。

Self-Attention

  • 以QKV模型来理解Attention机制，假定输入为Q (Query), Memory中以键值对(K, V)形式存储上下文信息，注意力机制可以看作是Query到一系列键值对(Key, Value)上的映射函数。
    在这里插入图片描述
    Attention Value = Q K T V QK^TV QKTV
    Attention本质为序列中的每一个元素分配一个权重系数， Q K T QK^T QKT可看做Value的权重系数。
  • Attention Value (Q, K, V) = s o f t m a x ( Q K T d K ) V softmax(\frac
最低0.47元/天 解锁文章
silence56
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
李宏毅自注意力机制(self-attention)和Transformer详解笔记
qq_45607888的博客
01-11 1086
在self-attention中，a1与a2,a3,a4分布计算相关性，把a1乘以wq得到q1（q有个名字叫query），a2乘以wk得到k2（k称之为key），然后q1与q2做点积得到α1,2（老师课程中说的是inner product，推测是口误了），α1,2称为a1与a2的attention score，a3与a4同理得到a1,3和a1,4，self-attention的输入是一串的vector，这些vector可能是整个网络的输入，也可能是某个隐藏层的输出，每个b向量都是考虑所有的a向量而生成的。
【深度学习】04-02-自注意力机制多种变形-李宏毅老师21&22深度学习课程笔记
星辰不问
08-23 1461
【深度学习】05-02-自注意力机制多种变形-李宏毅老师21&22深度学习课程笔记
【Transformer系列】深入浅出理解Attention注意力和Self-Attention自注意力机制
IT菜鸟
09-13 1921
【Transformer系列】深入浅出理解Attention注意力和Self-Attention自注意力机制
NLP学习—21.自注意力机制（Self-Attention）与Transformer详解
柳杰的博客
09-02 1万+
文章目录引言一、Structure of Transformers二、Encoder Structure三、Self-attention and multi-head self-attention1.Self-attention2.multi-head self-attention四、Residuals , Add and Layer-Normalization五、Decoder structure of Transformer六、Mask self-attention七、 Encoder-decoder
自注意力机制 Self-Attention与Transformer的原理及结构（编码器、解码器的原理及代码实现）
forthenight996的博客
08-30 4487
自注意力机制 Self-Attention与Transformer的原理及结构（编码器、解码器的原理及代码实现）
Self-Attention与Transformer
01-07
1.由来 在Transformer之前，做翻译的时候，一般用基于RNN的...输入的x1,x2x_{1},x_{2}x1​,x2​，共同经过Self-attention机制后，在Self-attention中实现了信息的交互，分别得到了z1,z2z_{1},z_{2}z1​,z2​，将z1,z2
详解Self-attention与Transformer1
08-03
Self-attention机制是Transformer...总的来说，Self-attention通过计算序列中各位置之间的相互依赖关系，有效地处理了序列数据，并且在Transformer架构中展示了强大的序列建模能力，尤其适用于自然语言理解和生成任务。
自注意力机制(Self-Attention)
最新发布
07-18
自注意力机制(Self-Attention)是一种在自然语言处理（NLP）领域中非常重要的技术，它首次被提出是在2017年的论文《Attention Is All You Need》中，作为Transformer模型的核心组成部分。该机制能够帮助模型更好地...
self-attention-cv:专注于计算机视觉的各种自我关注机制的实现。 进行中的资料库
03-05
PyTorch中计算机视觉应用程序的自注意力构建基块使用einsum和einops在PyTorch中实现计算机视觉的自我关注机制。 专注于计算机视觉自我注意模块。通过pip安装$ pip install self-attention-cv 如果您没有GPU，最好在...
Stand-Alone_Self-Attention_in_Vision_Models:创建的资料库旨在审查德累斯顿大学计算机视觉研讨会的科学文章
04-17
标题中的“Stand-Alone Self-Attention in Vision Models”是指一种深度学习技术，它专注于自注意力机制在计算机视觉模型中的独立应用。自注意力机制是Transformer架构的核心组成部分，它允许模型在处理序列数据时...
一文搞懂Transformer与Self-Attention，讲解神经网络算法最好的一篇文章！
weixin_44162814的博客
04-28 328
VIT模型（Vision Transformer)，这是一篇Google于2021年发表在计算机视觉顶级会议ICLR上的一篇文章。它首次将Transformer这种发源于NLP领域的模型引入到了CV领域，并在ImageNet数据集上击败了当时最先进的CNN网络。这是一个标志性的网络，代表transformer击败了CNN和RNN，同时在CV领域和NLP领域达到了统治地位，此后基本在ImageNet排行榜上都是基于transformer架构的模型了。
通俗理解Transformer（自注意力, self-attention)
Hayreen的博客
09-01 3496
谷歌在2017年发表了一篇论文《Attention Is All You Need》，论文中提出了transformer模型，其核心就是self-attention的架构，这一突破性成果不仅洗遍了NLP的任务，也在CV中取得了非常好的效果，有大道至简的感觉。本文通过一个通俗易懂的例子[1]来介绍self-attention。 文章首发个人博客。 （注：本文例子完全来在参考文章，包括文章的gif动图，感谢作者的文章） 介绍 接下来将通过一下几个步骤来介绍： 预处理输入数据 初始化权重 计算key，
超详解！Transformer + self-attention
idol24的博客
12-04 2134
‍‍点击上方“机器学习与生成对抗网络”，关注星标获取有趣、好玩的前沿干货！来源https://zhuanlan.zhihu.com/p/432814387作者Ziyang Li 东北电力大...
【自然语言处理】self-attention和Transformer的详解
qq_45792472的博客
11-22 2465
本文主要对李宏毅机器学习的课程进行了简单的总结。首先是解释了self-attention自注意力机制的原理，还有multi-head attention多头注意力机制、masked multi-head attention掩膜多头注意力机制，自注意力机制和CNN、RNN的区别。其次是解释了Transformer的原理，包括encoder、decoder的流程。最后介绍了AT、NAT的区别，copy mechanism，guided mechanism，beam search等。
狗都能看懂的Self-Attention讲解
个人学习笔记
01-13 1万+
一文看懂self-attention
NLP之Self-Attention和Transformer（通俗易懂的解释）
桔子皮的博客
06-10 2036
以下图片来自李宏毅老师的PPT截图，李宏毅老师的视频对这部分讲的很清楚，看了以后有了很清晰的认识。 一、研究背景 如下图所示，b1、b2、b3、b4、用Self-Attention可以同时计算，而在RNN中不能够同时被计算，即解决RNN无法并行化的问题。 二、Self-Attention实现原理 1、在把各个词送入Self-Attention之前先将其乘以一个特征矩阵，以特征化的表示各个单词，然后将其送入Self-Attention中（词嵌入的方法，Word embedding），即ai=Wxi，然后把不
源码剖析transformer、self-attention
weixin_42078618的博客
07-02 1万+
首先给大家引入一个github博客，这份代码是我在看了4份transformer的源码后选出来的，这位作者的写法非常易懂，代码质量比较高。https://github.com/Separius/BERT-keras 这篇文章主要跟大家分享四个点：多头机制(multi-head)、LN和GELU、位置编码。 在这再给大家安利几篇博客，便于大家更具体的理解自注意力的内在原理。 https://z...
【论文笔记copy】Attention总结三：self-attention与transformer
changreal的博客
10-18 1096
self-attention与transformer讲解 论文：attention is all you need. 参考 1.完全参考这篇博客，讲的非常好！本总结只是复述。 2.还参考了知乎的这篇文章，作为补充 文章目录参考1 self-attention具体1.1 过程1.2 矩阵的self-attention1.3 Scaled Dot-Product Attention2 transf...
Transformer：注意力机制（attention）和自注意力机制（self-attention）的学习总结
热门推荐
目前涉及领域：目标检测，语义分割以及数字图像处理
09-04 5万+
本文主要分为两个部分： 第一部分重点介绍了注意力机制的原理、公式演变、评分函数以及多头注意力。 第二部分重点介绍了自注意力机制的原理、优缺点以及和注意力机制的区别，并最后给出了单头和多头自注意力机制的图片示例。
Transformer self-attention
09-24
在Transformer中，self-attention被用于encoder和decoder的各个层中。它通过计算查询（query）、键（key）和值（value）的内积，得到每个位置的注意力权重。然后，根据注意力权重对值进行加权求和，得到输出。这样，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值