项目实训（八）--transformer

项目实训（八）

本文讲一下个人对transformer的理解

结构

像大多数seq2seq模型一样，transformer模型是由encoder-decoder构成。

字向量与位置编码

由上面的结构可知，输入inputs需要经过input embedding进行编码。
这一层的编码主要由两部分组成，字符编码和位置编码。
所谓字符编码，就是将语句划分之后的字符通过预训练的向量进行匹配选择，得到向量化表示；
而位置编码，是为了考虑进字符的位置信息。实现如下：

最后将字向量与位置编码进行拼接。

自注意力机制

在上一步进行了编码，我们得到了句子序列的向量表示矩阵X
对X做线性映射，并进行权重分配，权重矩阵WQ,WK,WV
进行线性映射（即矩阵相乘），得到三个矩阵QKV，维度与线性变换之前一致

得到矩阵Q,K,V之后，进行多头注意力机制multi-head
得到注意力矩阵Xatt

残差连接与layer normalization

将向量表示矩阵X与注意力矩阵Xatt进行拼接，然后传入layer normalization进行优化

feedforward

进行两步线性变化，再激活

参考

https://github.com/aespresso/a_journey_into_math_of_ml/tree/master/03_transformer_tutorial_1st_part