Attention Is All You Need

最新推荐文章于 2024-01-23 16:15:35 发布
最新推荐文章于 2024-01-23 16:15:35 发布
阅读量90 收藏
点赞数
分类专栏： 论文精读 文章标签： 论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41701723/article/details/132332661
版权

Attention Is All You Need

在这里插入图片描述

摘要

主导序列转导模型基于复杂的递归或卷积神经网络，该神经网络包括编码器和解码器。性能最好的模型还通过注意力机制将编码器和解码器连接起来。我们提出了一种新的简单的网络体系结构Transformer，它完全基于注意力机制，完全不需要重复和卷积。在两个机器翻译任务上的实验表明，这些模型在质量上更优越，同时具有更高的并行化能力，所需的训练时间显著减少。我们的模型在WMT 2014英译德翻译任务中获得了28.4%的BLEU成绩，比现有的最好成绩(包括语料库)提高了2%以上。在WMT 2014英法翻译任务上，我们的模型在8个GPU上进行了3.5天的培训后，建立了一个新的单一模型最先进的BLEU得分41.8%，这只是文献中最好的模型培训成本的一小部分。我们通过将其成功地应用于具有大量和有限训练数据的英语选区分析，表明该转换器对其他任务具有很好的通用性。

self-attention

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

Attention(Q,K,V)

其中公式的计算详细过程如下：
在这里插入图片描述

q , k , v的求值

在这里插入图片描述

Q , K , V的求值

并行化

在这里插入图片描述

q与k match的过程

在这里插入图片描述

Q与K match的过程

并行化

在这里插入图片描述

与V相乘

并行化

在这里插入图片描述

模块化处理

在这里插入图片描述

Multi head self-attention

在这里插入图片描述
在self-attention的基础上做了均分处理

拆分处理

在这里插入图片描述

head1,head2,等组成

在这里插入图片描述
公式
在这里插入图片描述

求单个b的过程

在不同的head中，执行self attention的操作流程
在这里插入图片描述
在这里插入图片描述

拼接b，并融合

将不同的head执行concat操作：
在这里插入图片描述
在这里插入图片描述

融合

在这里插入图片描述

模块化处理

在这里插入图片描述

计算机CV民工
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Attention Is All You Need.pdf
07-05
<p>Attention Is All You Need，NLP经典论文，值得仔细阅读</p>
Transformer(一)--论文翻译：Attention Is All You Need 中文版
热门推荐
11-15 4万+
Attention Is All Your Need 摘要   主流的序列转换模型都是基于复杂的循环神经网络或卷积神经网络，且都包含一个encoder和一个decoder。表现最好的模型还通过attention机制把encoder和decoder联接起来。我们提出了一个新的、简单的网络架构，Transformer. 它只基于单独的attention机制，完全避免使用循环和卷积。在两个翻译任务上表...
Attention is all you need?
斯人若彩虹，遇上方知有！
03-09 4227
1、Attention is all you need? 1.1、摘要 当时的序列转换模型大多是基于递归或卷积神经网络，包括编码器和解码器。通过注意力机制连接编码器和解码器取得最好的性能。本文提出一种相对简单的Transformer，完全基于注意机制，完全不需要循环和卷积。（完全依赖于一种注意机制来表示输入和输出之间的全局依赖关系）并且在两个机器翻译任务上取得不错的效果，同时支持并行、所需的训练时间显著降低。经过时间的证明Transformer还可以推广到其他任务。 1.2、自注意力机...
Transformer: Attention Is All You Need
weixin_45771864的博客
04-29 1488
无
《Attention Is All You Need》
Alkaid2000的博客
05-25 3401
论文地址：https://arxiv.org/abs/1706.03762 谷歌于2017年发布论文《Attention Is All You Need》，提出了一个只基于attention的结构来处理序列模型相关的问题，比如机器翻译。相比传统的CNN与RNN来作为encoder-decoder的模型，谷歌这个模型摒弃了固有的方式，并没有使用任何的CNN或者RNN的结构，该模型可以高度并行的工作，相比以前串行并且无法叠加多层、效率低的问题。那么Transorformer可以高度并行的工作，所以在提升翻译
Attention Is All You Need 论文笔记
weixin_45553275的博客
03-01 829
学习笔记
论文精读--Attention is all you need
m0_73202283的博客
01-23 2406
主要的序列转导模型是基于复杂的循环或卷积神经网络，包括一个编码器和一个解码器。表现最好的模型还是通过注意机制连接编码器和解码器。我们提出了一个新的简单的网络架构，transformer，完全基于注意力机制，完全摒弃循环和卷积。在两个机器翻译任务上的实验表明，这些模型在质量上更优越，同时更具并行性，并且需要更少的训练时间。我们的模型在WMT 2014英语-德语翻译任务上实现了28.4 BLEU，比现有的最佳结果(包括集合)提高了2个BLEU以上。
Attention is all you need文章翻译
weixin_42338988的博客
09-18 1284
近期读完了经典文章《Attention Is All You Need》，发表在第31届神经信息处理系统会议上（31st Conference on Neural Information Processing Systems, NIPS 2017, Long Beach, CA, USA）有挺多地方还是一知半解的，这里再次翻译一遍，加深理解也留下一些材料 文章有8个联合作者，主要是来自谷歌团队的大佬们。在论文首页的注释中，注明了所有作者对研究有相同的贡献，不同人有不同的分工。 训练以及结果部分不翻译 整理不
【Transformer系列（3）】 《Attention Is All You Need》论文超详细解读（翻译＋精读）
路人贾的博客
04-17 1万+
transformer开山之作《Attention Is All You Need》论文超详细解读（翻译＋精读）
【深度学习】Attention is all you need
Dong_ZH的博客
02-27 7636
Transformer和LSTM的最大区别，就是LSTM的训练是迭代的、串行的，必须要等当前字处理完，才可以处理下一个字。而Transformer的训练时并行的，即所有字是同时训练的，这样就大大增加了计算效率。Transformer使用了位置嵌入(Positional Encoding)来理解语言的顺序，使用自注意力机制（Self Attention Mechanism）和全连接层进行计算。
NLP：Attention Is All You Need.pdf
04-21
Attention Is All You Need主要的序列转导模型基于复杂的递归或卷积神经网络，包括编码器和解码器。性能最好的模型还通过注意机制连接编码器和解码器。我们提出了一种新的简单网络结构，即Transformer，它完全基于...
attention is all you need.pptx
05-10
attention is all you need 讲解PPT 附带注释
Attention Is All You Need.rar
01-03
《Attention Is All You Need》是2017年发表在《Advances in Neural Information Processing Systems》（NIPS）会议上的一篇重要论文，由Google Brain团队的Ashish Vaswani、Noam Shazeer、Niki Parmar、Jakob ...
Tranformer开篇之作Attention Is All You Need 论文阅读理解+代码注释解读
10-13
Transformer模型是深度学习领域的一次重大突破，由Google在2017年提出的论文《Attention is All You Need》中首次提出。这篇论文颠覆了传统的序列建模方式，如RNN（循环神经网络）和CNN（卷积神经网络），将自注意力...
Attention Is All You Need论文
最新发布
07-04
"Attention Is All You Need" 论文的详细解读如下： 1. 摘要（Abstract）： 论文摘要简要介绍了Transformer模型，一种基于注意力机制的序列到序列学习模型。摘要提到，Transformer摒弃了传统的循环和卷积层，完全...
Transformer-Attention is all you need
02-26
Transformer-Attention is all you need 论文, google出品, 可查阅博文: https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html
Attention Is All You Need 中文翻译
11-18
Attention Is All You Need 中文翻译
Attention is all you need
09-20
Attention is All You Need是一篇由Vaswani等人于2017年提出的论文，它引入了一个新的神经网络架构，称为Transformer，用于处理自然语言处理任务。这个架构主要基于自注意力机制，即通过将输入序列中的所有位置与...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值