Attention Is All You Need 论文笔记

Attention Is All You Need 论文笔记

---

本文主要讲述Self-Attention机制+Transformer模型。自己看过论文与其他人文章的总结，不是对论文的完整翻译。

论文原文翻译可看这篇，翻译质量还可以。
关于Attention的讲解可以看这里：Visualizing A Neural Machine Translation Model (Mechanics of Seq2seq Models With Attention)
关于Transformer，这篇文章讲解很棒：The Illustrated Transformer
本文的markdown源码

背景

Attention机制允许对依赖关系进行建模，而不考虑其在输入输出中的距离。在多数情况下，Attention与循环神经网络一起使用。

Transformer模型提出的原因：循环神经网络模型无法并行计算

Tansformer模型简介

transformer模型

Transformer模型是纯attention模型，完全依赖attention机制来描述输入与输出的全局依赖。

在Transformer模型中，依赖关系的计算降低到固定次数（这里就是说计算速度快啦），尽管由于对用attention权重化的位置取平均降低了效果，但是我使用Multi-Head Attention进行抵消。

Self-attention，有时称为intra-attention，是一种attention机制，它关联单个序列的不同位置以计算序列的表示。

Attention & Self-Attetion

• attention：每一步输出时，找到输入中最应该注意的部分。（对齐）
• self-attention：在模型处理某个词时，self-attention允许模型查看其他位置，来寻找更好编码该词的线索。

论文细节

Attention

1. 首先要计算出三个向量q，k，v。
   1. q是query，是当前要处理的词对应的向量；k是key，通过计算q与k的关系可以得到当前需要对其他词的关注度；v是value，表示的是其他单词。
   2. 这三个向量是通过训练出三个矩阵与词的embedding相乘得到。
   3. q，k，v维度一般小于embedding。（非必要，但是可以减小运算量）
   4. 在论文中，embedding维度512，q，k，v维度$d_k$=64
2. q，k相乘得到一个分数。 这里是相当于计算了一个相似度，找到当前词到其他词的相关关系。
3. 该分数除以$\sqrt{d_k}$。这里是为了更稳定的梯度，否则做softmax容易导致一个1其他全是0。
4. 对3中的值做softmax。softmax分数决定了在该位置其他词表达多少。显然本词自身占比会最高，但也会关注到相关的词。
5. softmax乘以v。保留关注的词，丢弃不相关的。
6. 对5产生的vectors求和，就产生了该位置的self-attention输出。
   $$Attention($$