李宏毅2021春机器学习课程笔记——Transformer模型

本文作为自己学习李宏毅老师2021春机器学习课程所做笔记，记录自己身为入门阶段小白的学习理解，如果错漏、建议，还请各位博友不吝指教，感谢！！

---

本笔记中所涉及的Layer Normalization和Self-Attention笔记如下：

Layer Normalization
Self-Attention

---

Transformer模型

Transformer模型是一个基于多头自注意力的序列到序列模型（seq2seq model），整个网络结构可以分为编码器（Encoder）和解码器（Decoder）两部分。

这个seq2seq模型输出序列的长度是不确定的。我们输入一个sequence后，先由Encoder负责处理，再把处理好的结果输入到Decoder中，由Decoder决定最后输出什么样的sequence。Transformer的完整结构如下图所示：

---

Encoder

在seq2seq模型中的Encoder要做的事情就是输入一排向量，输出另一排向量。能实现输入一排向量，输出一排向量功能的模型有Self-attention、CNN和RNN等模型，而Transformer中用得到的则是Multi-Head attention模型。

如上图所示，Transformer中有N个block，每个block中包含了Multi-Head Attention和Fully Collection的前馈网络，它要做的工作如下图所示：

• 先做一个self-attention，输入一排向量，经过self-attention考虑整个sequence的资讯后，输出另外一排向量。
• 接下来将输出的这一排向量输入到fully connected的前馈网络中，得到处理后的向量。

上述两个步骤，仅仅是描述了block中完成的大体工作。Transformer中，在self-attention和fully collected上还额外加了residual connection和layer normalization。

---

Residual Connection & Layer normalization

在self-attention中，输入一排向量，输出的一排向量是考虑了所有input之后的结果。在Transformer中，这个输出的向量$a$还要直接加上它对应的输入向量$b$，然后经过Layer Normalization后，才是这个self-attention最终的输出。

在fully connected中也增加了同样的residual网络结构，FC网络的输出先直接加上它对应的输入，然后经过layer normalization之后才是FC网络最终的输出。

---

Encoder总结

• 在将输入向量进行self-attention之前，先加上Positional Encoding，也就是输入向量中的位置信息。
• Multi-Head Attention：进行Multi-Head的self-attention处理得到输出向量。
• Add & Norm (residual & layer normalization): 也就是将self-attention的输出加上它对应的输入然后对其进行Layer Normalization。
• Feed Forward：将上一层的输出输入到fully connected中，将得到的输出向量同样经过residual & layer normalization操作后得到该block的最终输出。
• 将这个block重复n次。

---

Decoder

Decoder分为Auto regressive（AT）和Non-Auto regressive（NAT）两种。其中AT应用范围更为广泛一些。

Auto regressive（AT）

以语音辨识为例，假设我们要处理的这个NLP问题，每一个Token都用One-Hot的Vector表示，并假设START和END两个special token，其中START表示开始工作，END表示结束工作。

• 在Encoder完成之后，将其输出作为一个输入喂到Decoder中。
• 同时，输入一个special token：START表示开始工作。
• Decoder结合这两个输入，输出一个经过softmax处理后的长度为Vocabulary Size的输出向量，该向量中每一个中文字都对应一个数值，数值最大的中文字为最终输出的中文字，下图中，输出的结果是“机”。

接下来，将“机”对应的向量作为Decoder的输入，做下一步计算。这样Decoder会考虑下边两个输入，得出蓝色的输出向量。

• START对应的向量
• “机”对应的向量

蓝色向量中“器”对应的softmax值最高，输出“器”。接下来，将“器”对应的向量也作为Decoder的输入，这样Decoder会考虑下边三个输入，得出绿色的输出向量。

• START对应的向量
• “机”对应的向量
• “器”对应的向量

绿色的向量中“学”对应的softmax的值最高，输出“学”。持续这样的过程直到Decoder输出的结果为END对应的向量结束。当然整过过程中Decoder也有考虑Encoder的输出信息，这个后边具体再介绍。如上便是Decoder的计算过程。

Decoder具体结构

如上图所示，通过对比可以看出在每一个block中Decoder比Encoder多了中间的一个Multi-Head Attention，同时第一个自注意力机制使用的是Masked Multi-Head Attention。

Masked Multi-Head attention

Masked Multi-Head attention的计算顺序其实是和Decoder的串行计算顺序相对应的，以上边左图中计算$b^2$为例：
我们在计算$b^2$的时候，和原来的self-attention考虑所有输入信息$[a^1,a^2,a^3,a^4]$不同，Masked Multi-Head attention只考虑$[a^1,a^2]$，因为此时的$[a^3,a^4]$还没有计算出来。

---

Encoder-Decoder数据传输

Encoder和Decoder之间的数据传输由上图中的Cross Attention负责完成，也就是上边说到的Decoder中比Encoder多出来的中的那一个Multi-Head Attention。现在假设Encoder有$[a^1,a^2,a^3]$三个输出。

• 在cross attention中，首先生成对应的矩阵$[k^1,k^2,k^3]$。每当Decoder生成一个结果$q$，就将其与$[k^1,k^2,k^3]$一起计算Attention Score得到$[{\alpha }^1,{\alpha }^2,{\alpha }^3]$。

• 将得到的Attention Score分别与$[a^1,a^2,a^3]$对应的$[v^1,v^2,v^3]$计算相加得到输出$v$，这个$v$后续将输入全连接网络中进一步的计算。

• 上述过程持续到Decoder输出END结束。

这里Decoder使用的是Encoder最后一层的输出，当然，也可以和中间的其他层做出各式各样的连接，如下图所示：