Transformer简明笔记：文本翻译

Bert和gpt都是基于transformer的，在此之前流行的是rnn，复杂度有限且效率不高，容易受到文本长度的限制。
项目地址:https://github.com/lansinuote/Transformer_Example
b站视频：https://www.bilibili.com/video/BV19Y411b7qx?p=9&spm_id_from=pageDriver&vd_source=eca9b4f9ea9577b666c089a010621a99

总体架构

编码器：自注意力层->全连接层
解码器：自注意力层->编码解码注意力->全连接层

计算注意力

词向量编码
x1*wq得到queries，以此类推，得到Q K V

除以8和词向量的编码有关
z1是自注意力计算的结果


得到多组QKV向量，就是多头注意力

图中有八组这样的矩阵

词向量编码

右边计算出的结果是一样的，transformer会做同样的处理

pos是第几个词，i是第几个向量，pos是行，i是列，偶数列是上面的式子计算，奇数列是下面的式子计算
红色是大数，蓝色是小数，第0列是sin，第1列是cos，波动比较快，波动频率会逐渐降低

MASK

把a b pad理解为一句话，为了把各个句子保持相同长度，会补充pad。对pad的计算没有意义，把对pad的注意力全部替换成mask，但是pad对其他的词的注意力不做处理。

b和c是要预测的结果，所以计算b的时候不能让a看到。

对两个mask取一个并集

完整计算流程

layerNorm这部分是短接的计算，然后数据标准化，得到z1,z2，全连接运算

n个encoder上下串联，decoder拿到x1,x2，也要计算注意力，标准化，encoder-decoder这一层和self-attention其实一样，只不过qkv是拿encoder计算得出的结果当作kv，自己的自注意力层计算出的结果当作q，短接相加，标准化，全连接，标准化，decoder也会有n个，串联，最终做一个全连接层的输出。

翻译过程，不断预测下一个字

实验数据的生成策略

词表是x语言的所有词汇，这里只有7个词，模仿自然语言，采样概率不等，x的长度随机，均为模仿自然语言。
最终目的：x翻译成y
所以x和y要有关联性，这里的关系非常简单，黑色箭头表明y当中的每一个词是x逆序得到的，小写字母翻译成大写字母，y当中的数字用9-x得到
虚线的箭头表明，y中的第一位取决于x的最后一位，这样y的第一位和第二位是相同的，这样做是为了让y中的数据长度比x多一位，同时增加映射复杂度

代码实现：定义数据

data.py

字典中共39个词

m的概率最高
生成数据的函数：




定义数据集：

len固定返回10万，get_data生成一对x和y
数据加载器比较简单，每次调用生成8对x和y

代码实现：util.py

注意力计算函数：

几维向量就除以几的平方根

归一化层：

规范化，数值的均值是0，标准差是1，bn（batch normalization)取不同的样本做归一化，ln（layer nomalization)对不同通道做归一化。

多头注意力计算层：



位置编码层：


全连接输出层：

mask.py

trilmask 上三角mask

model.py

编码器：

完整的编码器：

解码器：

完整的解码器：

主模型：

维度是变化的，注释有误

main.py

第一列是epoch 第二列是i 第三列是learning rate 第四列是loss 不断下降 第五列是正确率，97%

预测时不需要y的最后一个字符，y的第0个字符一定是SOS，不需要预测

在后面补上49个pad




预测结果几乎一模一样

一个更加复杂的翻译任务

用transformer做加法

y是x左右两边的相加得到的，这个难度要高一些，替换掉生成数据的函数就可以得到，训练10个epoch，learning rate decay也生效了，最终准确率是92%