Transformer原理以及运行机制

1.Transformer的“前世今生”

transformer最开始是在一篇为Attention is all you need首先提出来的。那么为什么作者会想要提出这样一种新的机制呢，作者到底想要进一步实现什么样的目标呢，那Transformer起到什么优化效果了呢？那我们一起简单说一下Transformer的“前世今生”吧。

最开始引入transformer是应用在机器翻译上。

最初，在机器翻译上，我们应用RNN，但是应用RNN做机器翻译有局限性，RNN只能解决多对多，一对多，多对一（N To N，I To N，N to I）的问题，但是我们在进行机器翻译时，输入的单词数目和输出的字符数目不一定是一一对应的，可能你输入的一段话中有5个单词，翻译成中文只有4个字，即RNN难以解决N To M的翻译问题。

后来为了解决这个问题，提出了Seq to Seq，这个模型解决了输入与输出两端单词数目不等的状况，Seq to Seq模型具有编码器Encoder和解码器Decoder。Seq to Seq模型会将输入传入Encoder，Encoder处理后传入一个意义单元，再传入Decoder进行处理，最后输出。但是又遇到一个问题，意义单元能存储的信息有限，如果输入的句子太长，翻译精度就会下降。

于是又提出了Attention（注意力机制），在Seq to Seq模型基础之上，生成每个单词时，都有意识的从原始句子中提取生成该单词时最需要的信息，摆脱了输入序列的长度限制，但是这样子的话，意味着Encoder要首先要看完整个句子中所有单词，这样计算就比较慢了，这不是我们期待的结果，所以，接着改进！

出现了Self-attention（自注意力机制），在输入的整句话中，先提取每个单词的意义，再依据生成顺序选取所需要的信息。（关于自注意力机制的内容，我会在记录在一篇新的文章中~~啦啦啦）

而transformer的运行机制中用到了Self-attention（自注意力机制），transform是sequence to sequence的一个模型，也就是说，输入是一个sequence，输出多长由机器决定。

2.Transfomer的原理与运行机制

基本原理

transformer模型主要分为encoder和decoder。基本原理就是输入一个序列（sequence），通过encoder的处理，再传入decoder中，由decoder进行处理，然后输出最后的结果。

 运行机制

（1）Encoder

如下图，此图来自李宏毅老师机器学习课程中的课件，很清晰的展示了encoder的结构以及作用。

左半部分，输入了一段sequence，这段sequence可以被分解成x1、x2、x3、x4这四个词语，每个词语都代表是一个向量。通过encoder的处理，生成新的四个向量，分别是h1、h2、h3、h4。这就是encoder的作用，即：产生与输入数量相等的新的对应向量。

右半部分就是encoder的内部具体运行机制。我们接下来展开说明~~~

 encoder的内部具体运行机制：

encoder内部是由多个Block组成，每个Block都是输入一排向量，然后输出一排向量。

那么Block又是怎么样的呢？

 一个Block内部的结构：

解释：输入一个sequence资讯，用自注意力机制考虑整个sequence中前后信息的关联，然后self-attention的输出与input相加（a+b），然后a+b的结果再做layer normalization（求均值和方差，具体layer normalization内部结构是什么样的，这里先不作过多解释），做完layer normalization后得到C，将C传入fully-connection（FC），然后FC操作后，得到D，D+C得到E，再做一次layer-normalization，然后终于输出一个block啦。（撒花~~~）

现在，我们已经知道一个Block，接下来其他的Block就是重复上面计算步骤啦~~~

一层层的Block终将成一排新的向量，也就是上文中的h1、h2、h3、h4啦！！！

（2）Decoder

在encoder的输出的向量后，会有一个标识符，这个标识符被称为begin，辨识到begin后，decoder会处理输入，然后再通过一个softmax分类，然后对比distribution里分数里最高的分数的那个对应字符，然后这个分数最高的字符就是我们要输出的那个字符。

输出第一个字符以后，下一个字符的输出要先辨识第一个字符已经输出，然后同时辨识到begin，然后重复上面的步骤输出第二个字符，后面的字符输出以此类推。

下面这个图表明，decoder会把自己上一时刻的输出当做自己的输入。

又是周而复始的一个过程啦~~~

 如果一段语音结束，我们要判断出这段语音结束了，end概率就要大一些，输出end

 Decoder的内部结构以及计算：

 与encoder有很多相似的地方，大家可以看着下图自行理解一下内部结构以及计算。

（3）对比encoder与decoder

通过图可以看出，在encoder中是self-attention，在decoder中是Masked self-attention。两者有什么区别呢？

encoder和decoder又是怎么建立联系的呢？

self-attention与Masked self-attention的区别

 self-attention：

这些b向量是考虑了所有a才生成出来的

 Masked self-attention：

大家注意，b1的产生考虑了a1，b2的产生考虑了a1和a2。。。。。。

也就是说bi的产生只考虑ai以及ai之前的输入的影响，不考虑ai之后的输入的向量的影响。（因为在实际应用中，我们根本不知道后面将要会出现什么样的输入。所以不考虑。）

 那么encoder与decoder是怎么传递资讯的呢？

 蓝色圈圈就是encoder传给decoder的向量啦，绿色的是decoder自身产生的一个向量

 q来自decoder，k1，k2，k3来自encoder

 以上就是我介绍的Transfomer的原理与运行机制啦~~~~

感谢李宏毅老师~~~

爱你呀！（这就是transformer的整个直观图啦）