Transformer

Transformer

参考

• Transformer从零详细解读(可能是你见过最通俗易懂的讲解)
• 【NLP】Transformer模型原理详解

总体架构

• 

Encoder

• 

输入部分

• Embedding

  • 对于文本进行拆分，每一个字定义一个x维度的字向量

• 位置编码

  • $$P{E}_{(pos,2i)}=\sin \frac{pos}{1000^{\frac{2i}{d_{model}}}}$$

  • $$P{E}_{(pos,2i+1)}=\cos \frac{pos}{1000^{\frac{2i}{d_{model}}}}$$

  • 

  • 在偶数的位置用sin，奇数的位置用cos

• 然后将Embedding和位置编码相加即可得到输入

  • 

注意力机制(attention)

• $$Attention(Q,K,V)=softmax(\frac{Q{K}^T}{\sqrt{d_k}})V$$

• QKV的获取：说白了就是由X的输入向量乘以W矩阵得到QKV，W参数由训练得到，然后除以根号dk是为了保证方差为1，有利于梯度下降

  • 

• 多头注意力机制-multi-head attention（弹幕说：多个脑袋一起想）

  • multi-head attention则是通过h个不同的线性变换对Q，K，V进行投影，最后将不同的attention结果拼接起来：

  • 

  • $$MultiHead(Q,K,V)=Concat(hea{d}_1,....,hea{d}_h)W^o$$

  • $$hea{d}_i=Attention(Q{W}_i^Q,K{W}_i^K,V{W}_i^V)$$

  • self-attention则是取Q，K，V相同。

• 残差神经网络

  • 避免梯度消失

前馈神经网络

• 这层主要是提供非线性变换。

Decoder

• Decoder和Encoder的结构差不多，但是多了一个attention的sub-layer，这里先明确decoder的输入输出和解码过程(摘自知乎)：

  • 输出：对应i位置的输出词的概率分布
  • 输入：encoder的输出 & 对应i-1位置decoder的输出。所以中间的attention不是self-attention，它的K，V来自encoder，Q来自上一位置decoder的输出
  • 解码：这里要注意一下，训练和预测是不一样的。在训练时，解码是一次全部decode出来，用上一步的ground truth来预测（mask矩阵也会改动，让解码时看不到未来的token）；而预测时，因为没有ground truth了，需要一个个预测。

•