基础论文：Attention Is All You Need

于 2024-10-07 16:40:55 发布
阅读量246 收藏 4
点赞数 4
分类专栏： transformer系列 文章标签： 深度学习 神经网络 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mistydou/article/details/142738584
版权

年份：2017   论文链接：https://arxiv.org/pdf/1706.03762

摘要

提出一种完全基于注意力机制的架构，成为transformer，舍弃了之前集递归卷积架构

Model architecture

以往的序列数据处理网络主要为编码器-解码器的架构：序列输入经过encoder得到映射后的特征，然后将Z经过decoder得到输出。在每一步中，模型都是自回归的，在生成下一个符号时，使用之前生成的符号作为附加的输入。

transformer遵循上述架构

Encoder and Decoder Stacks

encoder（左）：N=6，由 multi-head self-attention layer 和 feed-forward layer 构成，每一层后面都接入residual connection，每一层的输出为 LayerNorm (x + Sublayer (x))

decoder（右）：N=6，比encoder多了一个masked mutil-head attention layer，用于防止泄露后续位置的数据。确保了对位置i的预测只能依赖于小于i的位置的已知输出。

Attention

将查询和一组键-值对映射到输出，其中查询、键、值和输出都是向量，输出为值的加权和，权重是由查询与相应键的相关性函数计算出来的

Scaled Dot-Product Attention

为了避免出现梯度过小的情况，提出scaling factor（1/\sqrt{}dk）来缩放查询与相应键之间的点积。

Multi-Head Attention：多个Scaled Dot-Product Attention得到的注意力concatenate在一起，然后再进行线性投影。

模型架构

  • 在encoder-decoder attention layer中，queries来自上一个解码器，keys 和 values来自编码器的输出。

位置编码

将第pos位置映射为一个长度与input长度保持一致的向量

oblivion_Dou
关注
专栏目录
论文：Attention is all you need
cztAI的博客
06-23 1998
论文：https://arxiv.org/abs/1706.03762 自注意力，有时也被称为内注意，是一种注意机制，将单个序列的不同位置联系起来，以计算该序列的表示。 架构 编码器(左半部分)和解码器(右半部分) 左半部分的编码器一共有N = 6个子编码器，图中仅显示一个。 每一个子编码器都有两层。 一层是Multi-Head Attention （多头自注意机构），另一层是 Feed Forward（全连接的前馈网络）。 在这两层都使用一个恒等映射（残差结构），然后进行层归一化。 每一层的输出表示为
Attention Is All You Need
11-16
Transformer 和 Attention 机制详解 Transformer 模型是近年来自然语言处理（NLP）领域的研究热点，该模型首次引入了 Self-Attention 机制，彻底摒弃了传统的循环神经网络（RNN）和卷积神经网络（CNN）架构，实现了...
Transformer(一)--论文翻译：Attention Is All You Need 中文版
热门推荐
11-15 5万+
Attention Is All Your Need 摘要   主流的序列转换模型都是基于复杂的循环神经网络或卷积神经网络，且都包含一个encoder和一个decoder。表现最好的模型还通过attention机制把encoder和decoder联接起来。我们提出了一个新的、简单的网络架构，Transformer. 它只基于单独的attention机制，完全避免使用循环和卷积。在两个翻译任务上表...
论文解读：Attention Is All You Need
weixin_42046845的博客
12-12 2006
谷歌于2017年发布论文《Attention Is All YouNeed》，提出了一个只基于attention的结构来处理序列模型相关的问题，比如机器翻译。相比传统的CNN与RNN来作为encoder-decoder的模型，谷歌这个模型摒弃了固有的方式，并没有使用任何的CNN或者RNN的结构，该模型可以高度并行的工作，相比以前串行并且无法叠加多层、效率低的问题。那么Transorformer可以高度并行的工作，所以在提升翻译性能的同时训练速度也特别快。
Transformer: Attention Is All You Need
weixin_45771864的博客
04-29 1575
无
Transformer理解：Attention Is All You Need论文阅读理解笔记
weixin_58183392的博客
03-28 1432
假设我们的模型的词汇表大小为V=10000，解码器的最后一层输出维度为4*512。那么：线性层的权重矩阵维度为512*10000线性层的输出：4*10000经过Softmax层后，4*10000每一行被转换为概率分布，其中每行的所有元素和大1，每个元素代表对应词汇的生成概率。以上就完全介绍完transformer的各个模块与对应原理了，若有歧义欢迎一起讨论。
论文阅读笔记：Attention Is All You Need
HollowKnightz的博客
01-18 2377
论文阅读笔记：Attention Is All You Need
论文 学习 Transformer ： Attention Is All You Need
qq_53536373的博客
05-11 922
transformer 是一个encoder ——decoder 结构的用于处理序列到序列转换任务的框架，是第一个完全依赖自注意力机制，计算其输入输出表示的转换模型，核心是采用了注意力机制用于捕获输入序列不同位置之间的依赖关系，帮助模型在生成输出时能够关注到与当前任务最相关的信息，优势是能够捕获长距离依赖关系，并且对于输入序列的长度没有固定的限制，在处理长文本和复杂语言结构时表现出色，在编码器解码器框架。
论文解读:Attention is All you need
古月哲亭
05-17 3704
论文解读:Attention is All you need习翔宇​北京大学 软件工程博士在读​关注他192 人赞同了该文章Attention机制最早在视觉领域提出，2014年Google Mind发表了《Recurrent Models of Visual Attention》，使Attention机制流行起来，这篇论文采用了RNN模型，并加入了Attention机制来进行图像的分类。205年，...
论文阅读笔记：Attention is All You Need
myblog
01-18 821
Transformer
读论文：Attention Is All You Need
Qiqijiang66的博客
03-18 558
文章目录0、Abstract1、Introduction2、Background3、Model Architecture3.1 Encoder and Decoder Stacks3.2 Attention3.3 Position-wise Feed-Forward Networks3.4 Embeddings and Softmax3.5 Positional Encoding4、Why Self-Attention This paper is all you need! 听了宏毅老师课和沐神的带读，写
NLP：Attention Is All You Need.pdf
04-21
"Attention Is All You Need"这篇论文提出了一种全新的架构——Transformer，它彻底改变了序列转导模型的设计思路。Transformer网络完全基于注意力机制，不再依赖于RNNs和CNNs。这种设计不仅简化了模型结构，也提高...
安全帽头盔检测数据集 3类 12000张 安全帽数据集 voc yolo
阿利同学的博客
10-04 945
安全帽头盔检测数据集 3类 12000张 安全帽数据集 voc yolo
基于深度学习的不遗忘训练
weixin_42605076的博客
10-02 812
基于深度学习的不遗忘训练（也称为抗遗忘训练或持久性学习）是针对模型在学习新任务时可能会忘记已学习内容的一种解决方案。该方法旨在使深度学习模型在不断接收新信息的同时，保持对旧知识的记忆。
【深度学习】— 多层感知机介绍、 隐藏层、从线性到非线性、线性模型的局限性
最新发布
我们都是被分成两半的人，一边热爱生活，一边憎恨生活。面对生活，我们总是在矛盾的两端摇摆，在反复的矛盾和犹豫中，一边踉跄前行，一边重振旗鼓。我渴望改变，渴望变得更好，渴望找到出口……就像一个溺水人的挣扎，就像一个救生圈。我是一个矛盾集合体，想要变得快乐，但是
10-05 988
在第 3 节中，我们介绍了 softmax 回归，并实现了其从零开始的实现和基于高级 API 的实现，训练了分类器来识别 10 类服装图像。这种网络共有 2 层，每层都是全连接的，每个输入都会影响隐藏层中的每个神经元，而隐藏层中的每个神经元又会影响输出层中的每个神经元。最简单的方法是堆叠多个全连接层，每一层的输出作为下一层的输入，最终生成输出。线性模型假设输入特征与输出之间的关系是单调的，例如收入增加会增加偿还贷款的概率，但这种关系不是线性的。个隐藏单元的单隐藏层多层感知机（MLP），隐藏层的输出可以用。
CNN+Transformer解说
owolai的博客
10-01 551
CNN（卷积神经网络）和Transformer是两种在深度学习领域广泛使用的模型架构，它们在处理不同类型的数据和任务时各有优势。CNN擅长捕捉局部特征和空间层次结构，而Transformer擅长处理序列数据和长距离依赖关系。将CNN与Transformer结合，可以创建出一种新的模型架构，这种架构能够同时利用CNN在图像处理中的优势和Transformer在处理序列数据中的优势。
CNN+Transformer在自然语言处理中的具体应用
owolai的博客
10-01 479
Transformer模型可以用于生成文本摘要，通过编码输入文本的全局信息，并生成连贯、准确的摘要。3.
【深度学习】损失函数
weixin_62403234的博客
10-04 648
同样，我们将这种理念运用到损失函数中，如果我们已知真实的样本分布和许多训练模型（即W和b），在二分类的情况下，我们知道，真实样本存在两种分布0（不是）或1（是），也就是我们常说的伯努利分布。但是考虑到如果是简单的绝对值求和，在其定义域上并非是全程可导的，这样对于梯度下降法的运用并不友好。我们将会引入一个极大似然估计的方法，在概率论中，我们可以知道，如果我们已知真实的分布情况和许多概率模型，我们就可以求出在某种概率模型下，这种分布情况发生的概率，而最大的那个概率值对应的模型便是最接近真实的概率模型。
attention is all you need下载
12-14
"Attention is All You Need"是一篇由Google Brain团队撰写的论文，介绍了一种新颖的神经网络架构——Transformer网络。该网络结构通过全注意力机制来实现序列到序列的学习，无需使用传统的循环神经网络或卷积神经网络。这篇文章发表在2017年的NIPS会议上，迅速引起了学术界和工业界的关注。 随后，由于该网络结构在机器翻译等自然语言处理任务上取得了令人瞩目的成果，因此吸引了广泛的关注和应用。因此，越来越多的研究者、工程师和技术人员开始关注并研究这一网络结构，以探索其在其他领域的应用潜力。 针对"Attention is All You Need"的研究成果，Google Brain团队还开源了一个名为"Tensor2Tensor"的工具库，以帮助研究者和开发者更方便地构建和训练基于Transformer网络的模型。这一举措进一步推动了人们对该网络结构的关注和研究。 目前，"Attention is All You Need"论文已经成为自然语言处理领域的经典之作，被广泛引用和借鉴。它的影响力不仅仅局限于学术界，许多公司和组织也开始将其应用于他们自己的产品和项目中。可以说，"Attention is All You Need"的下载不仅仅代表了一篇论文的获取，更代表了一种前沿技术和思想的引入和传播。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值