[论文阅读] Transformer(Attention Is All You Need)

最新推荐文章于 2022-07-31 16:19:45 发布
最新推荐文章于 2022-07-31 16:19:45 发布
阅读量280 收藏
点赞数
分类专栏： 论文阅读 文章标签： 深度学习 nlp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32815807/article/details/116886686
版权

[论文阅读] Transformer(Attention Is All You Need)

单位: Google

会议: NeurIPS 2017

论文地址: arxiv

代码: tensorflow/tensor2tensor official

在这里插入图片描述

Seq2Seq

在这里插入图片描述

Encoder和Decoder在早期一般是RNN模块，后来引入了LSTM或者GRU模块，核心思想都是通过Encoder编码成一个表示向量，即上下文编码向量，然后交给Decoder来进行解码，翻译成目标语言

RNN的局限

  • 对于不同输入和输出长度，中间的上下文编码向量长度固定的，仅仅靠一个固定长度的上下文编码向量包含的信息有限

  • RNN 本质是一个马尔科夫决策过程无法很好地学习到全局的结构信息

  • 难以并行化，速度慢

CNN

在 FaceBook 的论文(Convolutional Sequence to Sequence Learning）中纯粹使用CNN也完成了 Seq2Seq 的学习

CNN 方便并行，而且容易捕捉到一些全局的结构信息

但CNN 事实上只能获取局部信息，是通过层叠来增大感受野

在这里插入图片描述

在Transformer中，完全抛弃了RNN和CNN等网络结构，仅仅采用Attention机制就取得了很好的效果，具有更好的质量，同时具有更高的并行性和更少的训练时间

这篇论文主要贡献之一是它表明了内部注意力在机器翻译（甚至是一般的 Seq2Seq 任务）的序列编码上是相当重要的，而之前关于 Seq2Seq 的研究基本都只是把注意力机制用在解码端。

Transformer Architecture

在这里插入图片描述
Transformer结构可以表示为Encoder和Decoder两个部分

Encoder和Decoder主要由Self-Attention和Feed-Forward Network两个组件构成

Self-Attention由Scaled Dot-Product Attention和Multi-Head Attention两个组件构成。

Self-Attention

Attention 机制来自于人类视觉注意力机制,人们视觉在感知东西的时候一般不会是一个场景从到头看到尾每次全部都看，而往往是根据需求观察注意特定的一部分

在这里插入图片描述注意力函数的本质可以被描述为一个查询（query）到一系列（键key-value值)对的映射

给定一个和任务相关的查询查询向量 q，通过计算与Key的注意力分布并附加在Value上，从而计算Attention Value

引入attention的好处

  • 注意力允许解码器以不同程度的权重利用到编码器的所有信息

  • 通过检查注意力分布，可以看到解码器在关注什么，可解释性

Self-Attention的QKV来自同一个输入，也就是说在序列内部做 Attention，寻找序列内部的联系，故称为自注意力层

Scaled Dot-Product Attention

在这里插入图片描述
Attention ⁡ ( Q , K , V ) = softmax ⁡ ( Q K ⊤ d k ) V \operatorname{Attention}(\boldsymbol{Q}, \boldsymbol{K}, \boldsymbol{V})=\operatorname{softmax}\left(\frac{\boldsymbol{Q} \boldsymbol{K}^{\top}}{\sqrt{d_{k}}}\right) \boldsymbol{V} Attention(Q,K,V)=softmax(dk​ ​QK⊤​)V

计算过程

  1. 对每个输入单词 x 1 , x 2 , x 3 x^1,x^2,x^3 x1,x2,x3转化成嵌入向量
  2. 根据嵌入向量分别得到 q q q， k k k， v v v三个向量
  3. 然后将 q q q和所有 k k k进行点乘计算得 α \alpha α
  4. 通过SoftMax转换为概率分布 α ^ \hat{\alpha} α^
  5. 将概率分布和所有 v v v进行加权求和得到输出 b b b

在这里插入图片描述

为什么scaled?

可参考transformer中的attention为什么scaled?

Multi-Head Attention

在这里插入图片描述
 head  i = Attention ⁡ ( Q W i Q , K W i K , V W i V ) \text { head }_{\mathrm{i}}=\operatorname{Attention}\left(Q W_{i}^{Q}, K W_{i}^{K}, V W_{i}^{V}\right)  head i​=Attention(QWiQ​,KWiK​,VWiV​)

MultiHead ⁡ ( Q , K , V ) =  Concat(head  1 , … ,  head  h ) W O \left.\operatorname{MultiHead}(Q, K, V)=\text { Concat(head }_{1}, \ldots, \text { head }_{\mathrm{h}}\right) W^{O} MultiHead(Q,K,V)= Concat(head 1​,…, head h​)WO

Multi-Head Attention相当于多个不同Scaled Dot-Product Attention的集成，以8为例子，Multi-Head Attention步骤如下：

  1. 将数据 X X X分别输入到8个不同的Scaled Dot-Product Attention中，得到8个加权后的特征矩阵 Z i , i ∈ { 1 , 2 , … , 8 } Z_{i}, i \in\{1,2, \ldots, 8\} Zi​,i∈{1,2,…,8}

  2. 将8个 Z Z Z按列拼成一个大的特征矩阵

  3. 特征矩阵经过一层全连接得到输出 Z Z Z

可以类比CNN中同时使用多个卷积核的作用，多头的注意力有助于网络捕捉到更丰富的信息，每个head关注的点可能不一样，可以处理不同的任务

Positional Encoding

transformer内部没有类似RNN的循环结构，没有捕捉顺序序列的能力，无论句子结构怎么打乱，transformer都会得到类似的结果

为了解决这个问题，在编码词向量时会额外引入了位置编码向量

将每个位置编号，然后每个编号对应一个向量，通过结合位置向量和词向量，就给每个词都引入了一定的位置信息，这样 Attention 就可以分辨出不同位置的词了

在这里插入图片描述

  • 将向量的512维度切分为奇数行和偶数行
  • 偶数行采用sin函数编码，奇数行采用cos函数编码
  • 然后按照原始行号拼接

由于有
sin ⁡ ( a + β ) = sin ⁡ α cos ⁡ β + cos ⁡ a sin ⁡ β cos ⁡ ( α + β ) = cos ⁡ a cos ⁡ β − sin ⁡ α sin ⁡ β \sin (a+\beta)=\sin \alpha \cos \beta+\cos a \sin \beta \\ \cos (\alpha+\beta)=\cos a \cos \beta-\sin \alpha \sin \beta sin(a+β)=sinαcosβ+cosasinβcos(α+β)=cosacosβ−sinαsinβ
所有的 P E p o s + k PE_{pos+k} PEpos+k​可以用 P E p o s PE_{pos} PEpos​线性表出，表达了相对位置信息

同样的也可以训练得到位置编码向量，但是试验结果表明相差不大，因此论文选择了直接定义，这样直接计算而不需要训练，减少了训练参数，同时允许模型将位置编码向量扩展到超过了训练集中最长序列长度的位置编码

Feed-Forward Networds

在每个子层中，Multi-Head Attention层都接了一个FFN层，先线性变换，然后ReLU非线性，再线性变换
F F N ( x ) = max ⁡ ( 0 , x W 1 + b 1 ) W 2 + b 2 F F N(x)=\max \left(0, x W_{1}+b_{1}\right) W_{2}+b_{2} FFN(x)=max(0,xW1​+b1​)W2​+b2​
作用将Attention结果映射到一个更大维度的特征空间

在抛弃了 LSTM 结构后，FFN 中的 ReLU成为了一个主要的能提供非线性变换的单元

Layer Norm

主要的几种归一化方法

  • Batch Normalization

  • Layer Normalization

  • Instance Normalization

  • Group Normalization

在这里插入图片描述
将输入的图像shape记为[N, C, H, W]，这几个方法主要的区别

BatchNorm是在batch上，对NHW做归一化，对小batchsize效果不好
LayerNorm在通道方向上，对CHW归一化，主要对RNN作用明显
InstanceNorm在图像像素上，对HW做归一化，用在风格化迁移
GroupNorm将channel分组，然后再做归一化

Transformer为什么选用Layer Normalization呢？

看了知乎上一些关于使用BN效果不好的讨论

比较同意是因为NLP数据和CV数据特性不同带来的影响，数据的相关性表现在哪个维度，决定了采用何种信息抽取方式

BN是对不同样本的同一特征做操作而LN是对单个样本的不同特征做操作

在NLP中不同batch样本的信息关联性不大，而且由于不同的句子长度不同，强行归一化会损失不同样本间的差异信息，所以就没在batch维度进行归一化，而是选择LN，只考虑的句子内部维度的归一化。

参考

BENULL
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
NLP：Attention Is All You Need.pdf
04-21
Attention Is All You Need主要的序列转导模型基于复杂的递归或卷积神经网络，包括编码器和解码器。性能最好的模型还通过注意机制连接编码器和解码器。我们提出了一种新的简单网络结构，即Transformer，它完全基于...
Transformer论文--Attention Is All You Need
garbage回收中心
09-06 889
目前主要的序列传导模型基于复杂的循环或卷积神经网络，包括encoder and a decoder。作者提出了仅依赖于注意力机制的的一种新的简单网络结构（Transformer），在机器翻译任务中与其他模型相比，该模型展现了更高的并行计算量同时大大减少了训练时间。并在WMT 2014 English-to-German比赛中BLEU值达到了28.4，比其他模型（包括集成模型）高出2个BLEU值。在WMT 2014 English-to-French比赛中达到了单一模型的最高记录（BLEU为41）。
Transformer(一)--论文翻译：Attention Is All You Need 中文版
热门推荐
11-15 4万+
Attention Is All Your Need 摘要   主流的序列转换模型都是基于复杂的循环神经网络或卷积神经网络，且都包含一个encoder和一个decoder。表现最好的模型还通过attention机制把encoder和decoder联接起来。我们提出了一个新的、简单的网络架构，Transformer. 它只基于单独的attention机制，完全避免使用循环和卷积。在两个翻译任务上表...
论文阅读——transformer：Attention is All You Need
zzzzqqqq00的博客
07-27 387
transformer论文阅读笔记
《Attention is All You Need》论文理解Transformer
qq_18310041的博客
07-14 1451
谷歌的Transformer模型最早是用于机器翻译任务，当时达到了SOTA效果。 Attention is All You Need：https://arxiv.org/abs/1706.03762 Tensorflow：https://github.com/tensorflow/tensor2tensor Pytorch代码：http://nlp.seas.harvard.edu/2018...
【Transformer专题】一、Attention is All You Need（Transformer入门）
qq_38253797的博客
07-31 1327
Transformer
Attention Is All You Need.pdf
07-05
<p>Attention Is All You Need，NLP经典论文，值得仔细阅读</p>
Transformer-Attention is all you need
02-26
Transformer-Attention is all you need 论文, google出品, 可查阅博文: https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html
Attention is all you need论文阅读笔记
12-25
Attention is all you need论文阅读笔记
[transformer]论文实现：Attention Is All You Need PDF文件
11-27
[transformer]论文实现：Attention Is All You Need PDF文件
论文笔记-Attention Is All You Need---NeurIPS2017
Bolly_He的博客
03-28 1735
论文地址：https://arxiv.org/abs/1706.03762 Abstract 主要的sequence transduction 模型是基于复杂的递归或卷积神经网络，其中包括一个编码器和一个解码器。性能最好的模型也是通过一种注意机制来连接编码器和解码器。我们提出了一种新的简单的网络架构，the Transformer,完全基于注意机制，完全免除循环和卷积。在两个机器翻译任务上的实验表明，这些模型质量优越，同时更并行，需要的训练时间大大少。我们的模型在WMT2014英德翻译任务上实现了28.
一文详解transformer（Attention Is All You Need）原理
hufei_neo的博客
05-27 6354
谈起自然语言，就不得不说到现在大火的bert以及openai gpt-2,但是在理解这些模型之前，我觉得首先应该了解transformer，因本人水平有限，在看了transformer的论文之后也一知半解，在分享今天的知识之前，我们先简单了解一下seq2seq 首先要说到seq2seq的发展历史，从单纯的RNN-RNN到LSTM-LSTM,再到BiLSTM-BiLSTM或者BiGRU-BiGRU...
Transformer里layer-normlization的作用
真心乖宝宝的博客
08-06 8500
当我们使用梯度下降法做优化时，随着网络深度的增加，数据的分布会不断发生变化,为了保证数据特征分布的稳定性，我们加入Layer Normalization，这样可以加速模型的收敛速度 Normalization 有很多种，但是它们都有一个共同的目的，那就是把输入转化成均值为 0 方差为1的数据。我们在把数据送入激活函数之前进行normalization(归一化)，因为我们不希望输入数据落在激活函数的饱和区，发生梯度消失的问题，使得我们的模型训练变得困难 BN的主要思想是: 在每一层的每一批数据(一个ba
【论文阅读】Attention is all your need
u012858839的博客
06-20 308
Attention
transformer论文学习：Attention Is All You Need
iam_NaCl的博客
06-27 293
transformer论文学习：Attention Is All You Need
【原创】深入浅出Attention和Transformer
suvedo的博客
11-04 4843
本文介绍attention机制和基于attention的transformer模型。网上关于这两者的博客很多，但大都照搬论文，千篇一律，不够深入和通俗，本文在参考这些博客和原始论文的基础上，加入自己的理解，深入且通俗的讲解attention和transformer。 Attention in RNN Bengio等人在2014年Neural machine translation by jointly learning to align and translate中提出Attention机制。 传统的RNN
论文解读: | (NeurIPS2017)《Transformer: Attention Is All You Need》
RaySunWHUT
04-09 1653
Transformer: Attention Is All You Need
[深度学习] 自然语言处理---Transformer原理(一)
摩登都市天空---专栏
12-03 4510
《Attention Is All You Need》是Google在2017年提出的一篇将Attention思想发挥到极致的论文。该论文提出的Transformer模型，基于encoder-decoder架构，抛弃了传统的RNN、CNN模型，仅由Attention机制实现，并且由于encoder端是并行计算的，训练时间大大缩短。 Transformer模型广泛应用于NLP领域，机器翻译、文本摘要、问答系统等等，目前火热的Bert模型就是基于Transformer模型构建的。 Transformer优点：
[论文阅读] Disentangling and Unifying Graph Convolutions for Skeleton-Based Action Recognition
BENULL的博客
08-06 3828
Disentangling and Unifying Graph Convolutions for Skeleton-Based Action Recognition
attention is all you need下载
最新发布
12-14
"Attention is All You Need"是一篇由Google Brain团队撰写的论文，介绍了一种新颖的神经网络架构——Transformer网络。该网络结构通过全注意力机制来实现序列到序列的学习，无需使用传统的循环神经网络或卷积神经网络。这篇文章发表在2017年的NIPS会议上，迅速引起了学术界和工业界的关注。 随后，由于该网络结构在机器翻译等自然语言处理任务上取得了令人瞩目的成果，因此吸引了广泛的关注和应用。因此，越来越多的研究者、工程师和技术人员开始关注并研究这一网络结构，以探索其在其他领域的应用潜力。 针对"Attention is All You Need"的研究成果，Google Brain团队还开源了一个名为"Tensor2Tensor"的工具库，以帮助研究者和开发者更方便地构建和训练基于Transformer网络的模型。这一举措进一步推动了人们对该网络结构的关注和研究。 目前，"Attention is All You Need"论文已经成为自然语言处理领域的经典之作，被广泛引用和借鉴。它的影响力不仅仅局限于学术界，许多公司和组织也开始将其应用于他们自己的产品和项目中。可以说，"Attention is All You Need"的下载不仅仅代表了一篇论文的获取，更代表了一种前沿技术和思想的引入和传播。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值