transformer

记录下自己学习transformer学习笔记

Transformer从零详细解读(可能是你见过最通俗易懂的讲解)_哔哩哔哩_bilibili

1.做什么

在在attention is all you need 论文中主要用来进行语句翻译

2.结构

1）编码

 第一部分：输入（embedding/位置编码）

embedding作用：

1. 在 embedding 空间中查找最近邻，这可以很好的用于根据用户的兴趣来进行推荐。
2. 作为监督性学习任务的输入。
3. 用于可视化不同离散变量之间的关系。

位置编码 

以RNN为例子

注意：RNN中V ,W ,U在O，S，X层公用一套参数

RNN是按照顺序进行编码的；Transformer是同时进行，并没有告知词句的顺序，因此在输入阶段需要进行位置编码。

位置编码的公式：

偶数位置使用sin,奇数则是cos

 

2)注意力机制

比如婴儿在干嘛

 

 首先进行Q，K点乘（反应两个物体的相似性，越相似其点积的结果越大）,在求加权和。

举个例子

 a是相似度，相加为1.

 q1=x1·Wq；k1=x1·Wk； v1=x1·Wv；

 divide by 8的原因：score值特别大，softmax值很小，容易造成梯度的消息

÷是为了保证方差为1。

多头注意力机制：使用的是多套参数。效果好，多套使用使得达到多套空间，可以让transformer可以注意到多个子空间的信息。

 残差的作用：缓解了梯度消失的出现

layernormVSBN

为什么Transformer要用LayerNorm？ - 知乎

BN：对所有样本每一个特征都进行

优点

 缺点

第一个, batch_size较小的时候，效果差。（均值与方差代替整体）

第二个缺点就是BN在RNN中效果比较差。（RNN是动态的）

语义信息不同的话 是不能用同一种

3）解码

 

需要对当前单词和之后的单词做mask。

在训练的过程我们是看不到后面的词，如果不mask的话预测和训练存在很大不同，影响实验效果。

 

 

K，V是encoder，Q是本身。

K，V和Q进行交互。