Attention Is All You Need总结

最新推荐文章于 2023-11-06 15:17:53 发布
最新推荐文章于 2023-11-06 15:17:53 发布
阅读量334 收藏
点赞数
分类专栏： 机器学习 文章标签： 人工智能 深度学习 机器学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ben1010101010/article/details/105688609
版权

非常著名的Transformer

一句话总结：替代传统的序列转化模型，只用attention（不使用rnn/cnn），可以并行化训练；Attention机制在输入和输出序列中都不会受距离的影响

抛弃循环recurrence模型，只用attention,抽取输入和输出序列之间的全局依赖关系（全局语义信息）

传统的优化方法：1. 计算量（指数增长） 2. 远距离依赖仍然无法捕捉

Transformer计算量减少，但是同时也减少了有效的（分辨率）resolution, Multihead attention来解决这个问题

第一个只用self-attention来算输入和输出序列的representation的模型

自回归：t-1会作用到t的输出

stacked self-attention

encoder decoder stacks

6个一模一样的层 维度统一成512维

残差连接+层归一化

decoder的self-attention做了微调，不能attend到之后的位置 右移一步， mask

attention就是把一个query和键值对映射到输出

query一个key，然后算出相似度，这个相似度作为权重，乘上value

得到value的加权和

点乘和加法都可以，但是点乘是矩阵运算更快

没有缩放因子，softmax的区域会推到梯度非常小的地方（饱和区）

multihead attention可以attend到不同位置的不同表示子空间（不同子空间语义）

 

重点：

最低0.47元/天 解锁文章
我岂是非人哉
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Attention Is All You Need（文献阅读总结）
qq_56100912的博客
03-05 129
Transformer由论文《Attention is All You Need》提出，现在是谷歌云TPU推荐的参考模型。论文相关的Tensorflow的代码可以从GitHub获取，其作为Tensor2Tensor包的一部分。哈佛的NLP团队也实现了一个基于PyTorch的版本，并注释该论文。在本文中，我们将试图把模型简化一点，并逐一介绍里面的核心概念，希望让普通读者也能轻易理解。Transformer 与 RNN 不同，可以比较好地并行训练。
Transformer-Attention is all you need
02-26
Transformer-Attention is all you need 论文, google出品, 可查阅博文: https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html
Attention is all you need论文总结
dxy2020的博客
08-09 61
深度学习的部分知识总结
Attention Is All You Need论文总结(Transformer)
qq_45111566的博客
04-21 226
主流的序列转换模型都是基于复杂的循环神经网络或卷积神经网络，且都包含一个encoder和一个decoder。表现最好的模型还通过Attention机制把Encoder和Decoder联接起来。我们提出了一个新的、简单的网络架构，Transformer. 它只基于单独的attention机制，完全避免使用循环和卷积。深度学习最大优点：端到端。因此，从原始特征经特征抽取器，得到有用特征的过程十分重要。NLP常见特征抽取器：RNN、CNN、Transformer(Encoder部分)
翻译：Attention Is All You Need
czp_374的博客
02-11 1532
摘要：主要序列转导模型基于包括编码器（encoder）和解码器（decoder）的复杂递归或卷积神经网络。 性能最佳的模型还通过注意机制连接编码器和解码器。 我们提出了一种新的简单网络架构，Transformer，完全基于注意机制（based solely on attention mechanisms），完全免除（dispensing）递归（recurrence）和卷积。 两个机器翻译任务的实验...
Attention Is All You Need
11-16
Transformer 和 Attention 机制详解 Transformer 模型是近年来自然语言处理（NLP）领域的研究热点，该模型首次引入了 Self-Attention 机制，彻底摒弃了传统的循环神经网络（RNN）和卷积神经网络（CNN）架构，实现了...
NLP：Attention Is All You Need.pdf
04-21
"Attention Is All You Need"这篇论文提出了一种全新的架构——Transformer，它彻底改变了序列转导模型的设计思路。Transformer网络完全基于注意力机制，不再依赖于RNNs和CNNs。这种设计不仅简化了模型结构，也提高...
Attention Is All You Need.pdf
07-05
<p>Attention Is All You Need，NLP经典论文，值得仔细阅读</p>
attention is all you need.pptx
05-10
attention is all you need 讲解PPT 附带注释
Attention Is All You Need.rar
01-03
《Attention Is All You Need》是2017年发表在《Advances in Neural Information Processing Systems》（NIPS）会议上的一篇重要论文，由Google Brain团队的Ashish Vaswani、Noam Shazeer、Niki Parmar、Jakob ...
Attention Is All You Need读后感
qq_37904988的博客
11-05 584
Attention is all your need 论文地址, 此文仅仅是为了记录自己的学习过程 ，有错误欢迎大家指正。 1. 提出背景 在过去几年中，以LSTM和GRU的循环神经网络在nlp领域中发挥了巨大的作用吗，但是此类模型有一些缺陷，一个是存储记忆限制了训练样本的batch size， 二是计算代价大，三也就是此类模型固有缺陷，训练时候序列之间两个对象的联系依赖于两个对象的距离，这...
《Attention is all you need！》论文读后总结
m0_50795649的博客
11-06 774
这篇文章最初是应用于机器翻译的模型，在后来使用中发现作者提出的Transformer模型对于NLP、图片、音频、视频等也有较为不错的效果，可以说该模型是深度学习一个阶段性的成果。在文章中，作者完全摒弃了传统RNN和卷积网络，完全使用自注意力机制进行模型结构的搭建，且允许更高程度的并行化。
Attention Is All You Need 学习笔记
Doron15的博客
08-21 1255
Attention Is All You Need 该文是阅读Attention Is All You Need的笔记，用来记录自己的理解和思考，一来记录自己的学习历程，二来期待和大家讨论研究，共同进步。 Attention Is All You Need 0. 摘要 1. 介绍 定义列表 代码块 数学公式 UML 图: 0. 摘要 现在主流的序列转换模型是基于...
论文阅读-Attention Is All You Need阅读报告-机器翻译
一位不是很硕的鉴伪方向硕士
01-28 1414
1 Introduction 本文是2017年底谷歌大脑发表的文章，针对自然语言处理领域的经典问题-机器翻译，提出了一个只基于attention的结构来处理序列模型相关的问题，该模型被称为“Transformer”。文中提到，主流的序列转换模型都是基于复杂的循环神经网络（RNN）或卷积神经网络（CNN），且都包含一个encoder和一个decoder。RNN及其衍生网络的缺点就是慢，问题在于前后隐藏状态的依赖性，无法实现并行。截至“Transformer”提出前，表现最好的机器翻译模型是通过at...
论文精读：Attention Is All You Need
dennis_fan的专栏
03-28 443
Adam是一种常用的优化算法，它结合了Adagrad和RMSprop的优点，并加入了偏差修正。Adam的学习率是自适应的，可以根据每个参数的梯度大小自动调整学习率。具体来说，Adam使用指数移动平均估计梯度的一阶矩（即均值）和二阶矩（即方差），并将它们用于调整每个参数的学习率。Adam算法中有三个超参数需要设置：学习率、第一个指数衰减率（beta1）和第二个指数衰减率（beta2）。其中，beta1通常设置为0.9，beta2通常设置为0.999。另外，Adam还使用了一个小常数epsilon来避免除以零。
读书笔记11：Attention is all you need
b224618的博客
08-29 1749
这篇文章引用很多，应该是一篇贡献比较大的。 摘要部分：第一句话说现在主流的序列转换模型是基于复杂的循环或者卷积神经网络的，这些网络有一个encoder和一个decoder。然后指出效果最好的模型还会在encoder和decoder之间加上attention机制。接着引出：我们提出了一种简单的新模型，完全不需要循环或者卷积，只用attention就可以。最后介绍了实验结果。这个摘要的结构是首先介绍...
从cv的角度看transformers中的注意力——Attention is all you need读后感
Yiyang的专栏
10-26 519
注意力函数是 a query 和 a set of key-value pairs 到 an output的映射, key和value一一对应,一个query需要和一组key-value对计算,ouput是values的加权和，每个value对应的权重是由value对应的key和query计算出来的。
【NLP】《Attention Is All You Need》的阅读笔记
让算法融入生活，改变生活！
05-14 1056
背景 在深度学习领域，如果你连Transformer都不知，那就太out了。现如今基于Transformer的模型，如Bert在NLP的下游的很多任务中都达到了sota。而这个Transformer就出自于这篇论文。虽然是2017年发表的，但是已经被称作是非常经典的论文了。下面继续像以往一样阅读，或者是原文的翻译吧。原文地址：Attention Is All You Need。在了解这个模型时也看到原文和译文的对照：https://yiyibooks.cn/yiyibooks/Attention_Is_Al
attention is all you need下载
最新发布
12-14
"Attention is All You Need"是一篇由Google Brain团队撰写的论文，介绍了一种新颖的神经网络架构——Transformer网络。该网络结构通过全注意力机制来实现序列到序列的学习，无需使用传统的循环神经网络或卷积神经...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值