《attention is all you need》解读

最新推荐文章于 2025-03-30 00:45:03 发布
最新推荐文章于 2025-03-30 00:45:03 发布
阅读量652 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kyle1314608/article/details/100596041
版权

Motivation:

  • 靠attention机制，不使用rnn和cnn，并行度高
  • 通过attention，抓长距离依赖关系比rnn强

创新点：

  • 通过self-attention，自己和自己做attention，使得每个词都有全局的语义信息（长依赖
  • 由于 Self-Attention 是每个词和所有词都要计算 Attention，所以不管他们中间有多长距离，最大的路径长度也都只是 1。可以捕获长距离依赖关系
  • 提出multi-head attention，可以看成attention的ensemble版本，不同head学习不同的子空间语义。

attention表示成k、q、v的方式:

传统的attention(sequence2sequence问题)：

上下文context表示成如下的方式（h的加权平均）：

 

那么权重alpha（attention weight）可表示成Q和K的乘积，小h即V（下图中很清楚的看出，Q是大H，K和V是小h）：

上述可以做个变种，就是K和V不相等，但需要一一对应，例如：

  • V=h+x_embedding
  • Q = H
  • k=h

乘法VS加法attention

加法注意力：

还是以传统的RNN的seq2seq问题为例子，加性注意力是最经典的注意力机制，它使用了有一个隐藏层的前馈网络（全连接）来计算注意力分配：

乘法注意力：

就是常见的用乘法来计算attention score：

乘法注意力不用使用一个全连接层，所以空间复杂度占优；另外由于乘法可以使用优化的矩阵乘法运算，所以计算上也一般占优。

论文中的乘法注意力除了一个scale factor:

论文中指出当dk比较小的时候，乘法注意力和加法注意力效果差不多；但当d_k比较大的时候，如果不使用scale factor，则加法注意力要好一些，因为乘法结果会比较大，容易进入softmax函数的“饱和区”，梯度较小。

self-attention

以一般的RNN的S2S为例子，一般的attention的Q来自Decoder（如下图中的大H），K和V来自Encoder（如下图中的小h）。self-attention就是attention的K、Q、V都来自encoder或者decoder，使得每个位置的表示都具有全局的语义信息，有利于建立长依赖关系。

Layer normalization(LN)

batch normalization是对一个每一个节点，针对一个batch，做一次normalization，即纵向的normalization:

layer normalization(LN)，是对一个样本，同一个层网络的所有神经元做normalization，不涉及到batch的概念，即横向normalization:

BN适用于不同mini batch数据分布差异不大的情况，而且BN需要开辟变量存每个节点的均值和方差，空间消耗略大；而且 BN适用于有mini_batch的场景。

LN只需要一个样本就可以做normalization，可以避免 BN 中受 mini-batch 数据分布影响的问题，也不需要开辟空间存每个节点的均值和方差。

但是，BN 的转换是针对单个神经元可训练的——不同神经元的输入经过再平移和再缩放后分布在不同的区间，而 LN 对于一整层的神经元训练得到同一个转换——所有的输入都在同一个区间范围内。如果不同输入特征不属于相似的类别（比如颜色和大小，scale不一样），那么 LN 的处理可能会降低模型的表达能力。

encoder:

  • 输入：和conv s2s类似，词向量加上了positional embedding，即给位置1，2，3，4...n等编码（也用一个embedding表示）。然后在编码的时候可以使用正弦和余弦函数，使得位置编码具有周期性，并且有很好的表示相对位置的关系的特性（对于任意的偏移量k，PE[pos+k]可以由PE[pos]表示）：

  • 输入的序列长度是n，embedding维度是d，所以输入是n*d的矩阵
  • N=6，6个重复一样的结构，由两个子层组成：
    • 子层1:
      • Multi-head self-attention
      • 残余连接和LN：
        • Output = LN (x+sublayer(x))

    • 子层2:
      • Position-wise fc层(跟卷积很像)
      • 对n*d的矩阵的每一行进行操作（相当于把矩阵每一行铺平，接一个FC），同一层的不同行FC层用一样的参数，不同层用不同的参数(对于全连接的节点数目，先从512变大为2048，再缩小为512)，这里的max表示使用relu激活函数：

  • 整个encoder的输出也是n*d的矩阵

decoder:

•输入:假设已经翻译出k个词，向量维度还是d

•同样使用N=6个重复的层，依然使用残余连接和LN

•3个子层，比encoder多一个attention层，是Decoder端去attend encoder端的信息的层:

  • Sub-L1:
    self-attention，同encoder，但要Mask掉未来的信息，得到k*d的矩阵

  • Sub-L2:和encoder做attention的层，输出k*d的矩阵
  • Sub-L3:全连接层，输出k*d的矩阵，用第k行去预测输出y
 

mutli-head attention:

MultiHead可以看成是一种ensemble方式，获取不同子空间的语义:

获取每个子任务的Q、K、V：

  • 通过全连接进行线性变换映射成多个Q、K、V，线性映射得到的结果维度可以不变、也可以减少(类似降维)
  • 或者通过Split对Q、K、V进行划分(分段)

如果采用线性映射的方式，使得维度降低；或者通过split的方式使得维度降低，那么多个head做attention合并起来的复杂度和原来一个head做attention的复杂度不会差多少，而且多个head之间做attention可以并行。

总结

本文提出用attention做翻译，不用RNN和CNN，attention计算快，并行度高，而且任何两个词的距离都是1，抓长距离依赖擅长。但是如果要堆那么多层的话，其实也不见得快到哪里去。

另外，说一些我的经验，不一定放诸四海皆准，仅供参考（我是在语义匹配里的任务的经验，不是翻译）：

  • positional encoding一般可以加快收敛，但是对提升效果一般作用微小
  • multi-head attention在emb较小时，例如128，一般无效果。但是像原文中的512就可能有用。但是对工业界的系统，emb开不到512，内存没那么大。
  • attention和gru一起用，效果会有提升，在匹配任务里，attention替换不了gru，但是attention计算快。

参考文献：

https://arxiv.org/abs/1706.03762

https://arxiv.org/pdf/1711.02132.pdf

详解深度学习中的 Normalization，不只是BN（2）

BERT大火却不懂Transformer？读这一篇就够了

对Attention is all you need 的理解
mijiaoxiaosan的博客
06-14 6万+
对谷歌Attention is all you need 的理解。
Attention is all you need详细解读
zhaosuyuan的博客
11-12 452
Attention is all you need
论文解读：Attention Is All You Need
weixin_42046845的博客
12-12 5236
谷歌于2017年发布论文《Attention Is All YouNeed》，提出了一个只基于attention的结构来处理序列模型相关的问题，比如机器翻译。相比传统的CNN与RNN来作为encoder-decoder的模型，谷歌这个模型摒弃了固有的方式，并没有使用任何的CNN或者RNN的结构，该模型可以高度并行的工作，相比以前串行并且无法叠加多层、效率低的问题。那么Transorformer可以高度并行的工作，所以在提升翻译性能的同时训练速度也特别快。
从零开始构建 Transformer：完整代码、原理解析：《Attention Is All You Need》
最新发布
weixin_41645791的博客
03-30 805
本文全面解析了 Transformer 模型的原理与实现，详细介绍了模型背景、核心技术、各模块设计及代码实现。文章从词嵌入、位置编码、注意力机制、多头注意力、前馈网络、层归一化到残差连接，逐层剖析 Transformer 模型的设计思路，并提供了完整的 PyTorch 代码实现。文中还讨论了掩码生成和参数初始化的细节，为读者深入理解 Transformer 模型及其优化提供了实战指南。无论你是 NLP 新手还是深度学习专家，都能从中获得启发，助力你在实际项目中成功应用 Transformer 模型。
【Transformer系列（3）】 《Attention Is All You Need》论文超详细解读（翻译＋精读）
路人贾的博客
04-17 2万+
transformer开山之作《Attention Is All You Need》论文超详细解读（翻译＋精读）
The Illustrated Transformer【译】
热门推荐
yujianmin1990的专栏
12-23 8万+
前言 翻译一篇非常赞的解释Transformer的文章，原文链接。 在之前的文章中，Attention成了深度学习模型中无处不在的方法，它是种帮助提升NMT（Neural Machine Translation）的翻译效果的思想。在本篇博客中，我们解析下Transformer，该模型扩展Attention来加速训练，并且在Google的NMT中表现突出。然而，其最大的好处是可并行。实际上谷歌云...
attention is all you need论文解读
12-29
文章为对attention is all you need的论文解读，详细的剖析了该文章的思想。
attention is all you need解读及pytorch代码
12-06
《Attention is All You Need》是2017年发表的一篇具有里程碑意义的论文，它引入了一种全新的神经网络架构——Transformer。Transformer的核心思想在于完全依赖注意力机制（Attention Mechanism）来处理序列数据，...
Tranformer开篇之作Attention Is All You Need 论文阅读理解+代码注释解读
10-13
Transformer模型是深度学习领域的一次重大突破，由Google在2017年提出的论文《Attention is All You Need》中首次提出。这篇论文颠覆了传统的序列建模方式，如RNN（循环神经网络）和CNN（卷积神经网络），将自注意力...
经典重温：《Attention Is All You Need》详解
我爱计算机视觉
04-19 3951
关注公众号，发现CV技术之美本文位52CV粉丝投稿。原博客地址：https://blog.csdn.net/michaelshare/article/details/124178685该篇文章由谷歌大脑团队在17年提出，目的是解决对于NLP中使用RNN不能并行计算（详情参考《【译】理解LSTM（通俗易懂版）》），从而导致算法效率低的问题。该篇文章中的模型就是近几年大家到处...
《Attention Is All You Need》解读
Andy_shenzl的博客
07-04 3954
是一篇由Ashish Vaswani等人在2017年发表的论文，它在自然语言处理领域引入了一种新的架构——Transformer。这个架构现在被广泛应用于各种任务，如机器翻译、文本摘要、问答系统等。Transformer模型的核心是“自注意力”（self-attention）机制，这一机制能够有效捕捉文本序列中的长距离依赖关系。
Attention Is All You Need 中文翻译
11-18
Attention Is All You Need 中文翻译
Attention is all you need 解读
Cl2212的博客
10-17 1131
Attention is all you need 解读引言1.整体框架2.Attention结构2.1Attention定义2.2 ScaledDot-ProductAttention（缩放点积注意力）2.3 Multi-HeadAttention（多头注意力机制）3.1 PositionEmbedding（位置嵌入）3.2 Position-WiseFeed-forwardNetworks（位置前馈网络）3.3 Encoder（编码器）3.4 Decoder（解码器）3.5 最后的Linear和Sof
Attention Is All You Need 模型解读
weixin_44000193的博客
04-15 875
论文相关 这篇文章是由谷歌大脑，谷歌研究所以及多伦多大学的一篇论文。这篇论文提出了一种新的模型结构–Transformer。这个模型仅基于注意力机制，完全不考虑循环结构和卷积结构。并在两个机器翻译大赛中展示了优异的性能以及较好的BLEU值 模型结构 这个模型由编码器和译码器组成，举个简单的例子理解，输入一段中文，然后翻译成一段英文。这里，编码器将符号表示的输入序列(x1，…，xn)映射到连续表示...
Attention Is All You Need论文解读
xieguohuan的博客
10-29 1719
​QKT​)V 多头注意力:Transformer中的自注意力机制被扩展为多个注意力头，每个头可以学习不同的注意权 重，以更好地捕捉不同类型的关系。多头注意力允许模型并行处理不同的信息子空间。 MultiHead(Q,K,V)=Concat(head1,...,headh)WOwhere headi=Attention(QWiQ,KWiK,VWiV)\begin{aligned}\mathrm{MultiHead}(Q,K,V)&=\mathrm{Concat}(\mathrm{head}_{1},...,
Attention大详解（Attention is all you need）
Miracle8070
02-20 1万+
1. 写在前面 今天分享的论文是2017年谷歌团队发表的一篇论文，这是一篇非常经典的自然语言处理领域的文章，基于这篇文章，才有了最近非常火的bert， Albert等模型，接触这篇文章是在一次直播中看到的，因为经典，所以就想着读了读（虽然不是搞nlp的，但总感觉知识这东西都有一定的通性，多学一些肯定没有坏处，万一以后要用到呢？）。但是这篇论文本身我读了一遍之后，感觉不太懂，感觉里面有些东西并不是说...
论文解读:Attention Is All You Need
夏栀的博客
07-18 2087
论文解读：Attention Is All You Need论文解读：Attention Is All You Need全文摘要译文二、简要信息三、算法模型详解3.1 注意力机制3.2 Position-wise Feed-Forward Networks3.3 位置表征3.4 Transformer 论文解读：Attention Is All You Need   在深度学习领域，绝大多数是以神...
Attention Is All You Need简析
loserChen的博客
05-01 423
Attention Is All You Need 介绍 文章提出的transformer，使用注意力机制，对于资源的要求更低，却同样能达到state-of-the-art的效果。 整体框架 Encoder Encoder由6个相同的层组成，每层都有两个子层，一个是self-attetion机制，一个是全连接的前向网络。在子层之间也使用了残差连接与layer nomalization。 Deco...
Attention is all you need文献解读
01-22
### 关于 'Attention is all you need' 的详细解读 #### Transformer 架构概述 Transformer 是一种基于自注意力机制的神经网络模型，旨在解决序列建模和转换任务中的长期依赖问题。该模型完全摒弃了传统的循环神经网络 (RNN) 和卷积神经网络 (CNN)，转而采用纯注意力机制来捕捉输入和输出之间的全局依赖关系[^1]。 #### 主要组成部分 ##### 编码器-解码器结构 编码器由多个相同的层堆叠而成，每一层包含两个子层：一个多头自注意力机制子层和一个全连接前馈网络子层。这些子层之间通过残差连接和层归一化操作相连。同样地，解码器也由类似的多层组成，但在每个多头自注意力机制之后还增加了一个额外的“编码器-解码器注意力建议”，用于关注来自编码器的信息。 ##### 多头自注意力机制 为了允许模型联合关注不同位置的不同表示子空间，在每个位置上并行运行 h 个独立的注意力函数。对于每一个这样的头部 i=1,...,h ，计算查询 Q_i、键 K_i 和值 V_i 后再加权求和得到最终输出 Z 。这种设计使得模型能够更有效地处理复杂的模式匹配任务。 ```python import torch.nn as nn class MultiHeadedSelfAttention(nn.Module): def __init__(self, d_model, num_heads): super().__init__() self.d_k = d_model // num_heads self.h = num_heads # 定义线性变换矩阵WQ,WK,WV self.linear_layers = clones(nn.Linear(d_model, d_model), 3) def forward(self, query, key, value, mask=None): batch_size = query.size(0) # 对query,key,value做线性变换，并拆分head维度 qkv = [l(x).view(batch_size, -1, self.h, self.d_k).transpose(1, 2) for l, x in zip(self.linear_layers, (query, key, value))] return attention(qkv[0], qkv[1], qkv[2], mask=mask)[0].transpose(1, 2).contiguous().view(batch_size, -1, self.h * self.d_k) ``` ##### 前馈全连接网络 紧跟在每个自注意力层后面的是一个简单的两层前馈神经网络（FFN），它应用于各个位置的数据点。这个模块在整个架构中起到了特征映射的作用，帮助提取更高层次上的抽象特性。 #### 工作流程解析 按照论文描述，整个过程可以分为三个主要阶段： 1. **嵌入与位置编码**: 输入序列被转化为固定长度向量并通过加入绝对位置信息来进行增强； 2. **编码器栈运算**: 经过 N 层相同配置的编码单元逐级传递直至最顶层； 3. **解码器预测生成**: 利用已知的目标侧上下文以及源端表征逐步构建目标序列。 #### 性能评估 实验结果显示即使不针对具体应用场景调整超参数设置，仅依靠通用框架本身就能取得优异的成绩——超越除 RNN-Grammar 模型外所有先前报道的方法[^2]。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值