【论文阅读】Attention Is All You Need

Mr. Anonymous

已于 2022-04-16 01:31:17 修改

阅读量1k

点赞数 1

分类专栏：论文阅读文章标签： Transformer 自注意力并行化多头注意力位置编码

于 2022-04-16 01:30:58 首次发布

本文链接：https://blog.csdn.net/Nie_Quanxin/article/details/124207405

版权

论文阅读专栏收录该内容

5 篇文章 0 订阅

订阅专栏

Abstract

序列转换任务(如机器翻译)通常使用基于卷积或循环神经网络组成的encoder-decoder模型，当时最好的模型采用attention机制连接encoder和decoder。

提出一个简单的Transformer架构，完全依赖于attention机制。实验证明该模型取得良好的性能，并且还有容易并行化(parallelizable)、训练时间短等优点。

Introduction

在序列建模及转换问题中，通常使用RNN，LSTM等模型。RNN的一个突出问题是由于它的时序特性，训练时无法并行化，这在处理长序列时尤为严重。有一些工作试图通过factorization tricks 或 conditional computation改善它的运算效率，但这并没有触及它的顺序计算本质。

Attention机制在序列建模中已经广泛应用，但大多数时候还是与RNN共同使用。

本文提出Transformer，一种只依赖于attention机制从而避免使用循环网络的模型，用于学习输入和输出之间的全局依赖关系。

Model Architecture

encoder-decoder结构：encoder将输入序列 $x_1,...,x_n)$ 映射为连续的表示序列 $z=(z_1,...,z_n)$ ，decoder接收 $z$ ，每次生成一个symbol，组成输出序列 $y_1,...,y_m)$ 。这个模型是自回归的，即生成每一步的symbol时需要上一步的输出作为新的输入。

Transformer遵循这个结构，其encoder和decoder都是使用多层self-attention，point-wise,fully connected layers进行构建。

在这里插入图片描述

Encoder and Decoder Stacks

Encoder

由 $N = 6$ 个相同的层组成，每层包括两个子层：第一层是multi-head self-attention机制，第二层是一个简单的position-wise fully connected feed-forward网络。两个子层均添加残差连接，并后跟一个layer normalization层，即每个子层的输出是： $L a y e r N o r m (x + S u b l a y e r (x))$ 。为了使用残差连接，每个子层（包括embedding层）的输出都具有相同的维度 $d_{model}=512$ 。

Decoder

同样由 $N = 6$ 个相同的层组成。每层中除了encoder中相同的连个子层外，还添加了一个作用于encoder输出的multi-head attention层。每个子层同样带有残差连接和layer normalization。decoder的self-attention改为masked self-attention，防止计算时加入后面还没出现的位置，确保位置i的预测只依赖于i之前已知位置的输出。

Attention

Attention函数将一个query和一组key-value对映射到一个输出，其中query key value都是向量。输出是对value求加权和，权值(attention weight)是将query与每个value对应的key通过匹配性函数(compatibility function)计算得到。

Scaled Dot-Product Attention

在这里插入图片描述

输入querys、keys的维度为 $d_k$ ，values的维度为 $d_v$ 。将query与每个key计算dot product attention，再除以 $\sqrt{d_k}$ ，最后使用softmax函数获取每个value的权重。

可以通过矩阵运算在多个query和key-value对上同时计算attntion。其中，query的个数与key(value)的个数不一定相同。将所有queries、keys、values向量分别拼在一起，用矩阵Q、K、V表示。然后有：

$Attention(Q,K,V)=softmax(\frac{QK^T}{\sqrt{d_k}})V$

上述过程包括两次矩阵乘法，示意图如下：

在这里插入图片描述

上图中有n个query，m个key和value，每个query和key向量的维度为 $d_k$ ，每个value的维度为 $d_v$ 。第三个 $n\times m$ 矩阵即 $QK^T$ ，其中每一行表示一个query(Q中的一行)对所有m个key求内积的结果。

有两种常见的attention（dot-product attention和additive attention），理论上复杂度差不多，但实际应用时由于可以使用矩阵乘法加速，所以采用dot-product attention。

作者还注意到，当 $d_k$ 比较小时，两种attention表现差不多，但 $d_k$ 比较大时additive attention表现更好。作者认为原因是当维度 $d_k$ 太大时，点积运算的结果太大，再经过softmax运算后导致梯度特别小。因此使用 $\frac{1}{\sqrt{d_k}}$ 进行缩放。

Multi-Head Attention

上面的dot-product attention计算直接使用Q、K、V一次性计算出结果，不包含任何可学习的参数。假设self-attention中，每个query、key、value向量均为 $d_{model}$ （即Q、K、V矩阵的维度分别为 $n\times d_{model}, m\times d_{model}, m\times d_{model}$ ）。

Multi-head attention的过程是：首先将原始的Q、K、V矩阵通过分别不同的线性层（可学习）投影到更低维度 $d_k、d_k、和d_v$ （投影h次），再用h组投影后的结果分别计算attention，每组得到一个结果矩阵，然后这h个矩阵concat在一起，再经过一次线性投影，得到本层attention最终的输出。

Multi-head attention使模型可以学习h个不同的投影函数，从而同时在不同的表示空间中进行attention计算。这类似于卷积网络中的多卷积核。

$MultiHead(Q,K,V)=Concat(head_1,...,head_h)W^O$

$where :head_i=Attention(QW_i^Q,KW_i^K,VW_i^V)$

其中，参数矩阵 $W_i^Q\in \mathbb{R}^{d_{model}\times d_k},W_i^K\in \mathbb{R}^{d_{model}\times d_k},W_i^V\in \mathbb{R}^{d_{model}\times d_v}, W^O\in \mathbb{R}^{hd_v\times d_{model}}$ 原文中作者使用 $h = 8$ ，每个head中 $d_k=d_v=d_{model}/h=64$ 。由于每个head计算dot-product前对QKV进行了降维，总的运算量与不进行降维的单头注意力差不多。

Applications of Attention in Transformer

在Transformer中multi-head attention有三种用途：

encoder-decoder attention中，query来自上一个decoder层，key和value来自encoder层输出。这使得decoder中的每个位置可以关注输入序列中的所有位置，类似于seq2seq中的attention。
encoder的self-attention中，所有query、key、value都来自同一个地方，即上一个encoder层的输出。这使得encoder中的每个位置可以关注上一个encoder层的所有位置。
decoder的self-attention中，应该允许decoder中的每个位置可以关注decoder中这个位置及之前的所有位置，这是为了保持自回归性质，即下一个输入依赖于上一个输出。这一点通过将softmax的输入中不应该计算的位置mask掉（设置为 $-\infin$ ,则softmax后为0）实现(masked self-attention)。