【王树森】Transformer模型(1/2): 剥离RNN，保留Attention（个人向笔记）

Transformer简介

• Transformer 是一个Seq2Seq模型
• Tramsformer 不是RNN
• Transfomer 只有attention和全连接层
• 机器翻译在大型数据集上完爆最好的RNN

---

Review Attention for RNN

这节课讲的attention相对比于前两节课多了一个 $v_i$，之前是用权重直接乘 $h$，而在这里是乘以 $v$。最后得到向量 $c$

---

Attention without RNN

• Attention一开始设计是用在RNN上的，那么我们应该如何把attention从RNN中剥离出来呢？
• 本节课将使用一个attention和一个self-attenion层搭建一个Transformer

1. 设计一个attention层用于Seq2Seq模型

• Seq2Seq模型有一个encoder和一个decoder
• encoder接受 $m$ 个词向量的输入
• decoder接受 $t$ 个词向量的输入，来生成下一个单词
• 对于encoder的输入向量，我们用两个个矩阵 $W_K$ 和 $W_V$ 将其变换为上面的 $k$ 向量和 $v$ 向量：
  
• 对于decoder的输入向量，我们用一个矩阵 $W_Q$ 将其变换为上面的 $q$ 向量
  
• $K$ 为 $m$ 个 $k$ 向量叠在一起的矩阵，用 $q$ 和 $K$ 算出相关性，其中 $\alpha$ 是 $m$ 维的向量，元素及总和为1，代表着 $m$ 个 $k$ 向量和 $q$ 的相关性
  
• 利用得到的相关性和 $v$ 计算 context vector $c$，其中这一系列运算可以简化为 $V\alpha$
  
• 对所有的 $q$ 用类似的方法计算出所有 context vector $c$，这样attenion层的输出就是一个 $C$ 矩阵
  
• 对于一个 $c_i$ 来说，它依赖于decoder的当前输入 $x_i^{\prime }$，还有所有encoder的输入$x_1,x_2...,x_m$
  
• 以英译德为例：利用decoder的 $x_2^{\prime }$ 和 所有encoder的输入$x_1,x_2...,x_m$，我们可以生成 $c_2$，然后把 $c_2$ 丢进一个softmax里面产生概率来预测下一个德语单词。$c_2$ 是知道整句英语的，所以可以很好的避免遗忘问题
  
• 总结Attenion层：接受encoder的输入 $X=[x_1,x_2,...,x_m]$ 和decoder的输入 $X^{\prime }=[x_1^{\prime },x_2^{\prime },...,x_t^{\prime }]$，输出一个context vector矩阵 $C=[c_1,c_2,...,c_t]$，其中参数有三个矩阵：$W_K,W_Q,W_V$，它们需要从数据中学习
  

2. 搭建一个Self-Attention层取代RNN

• self-attention层和attention层完全类似，只是输入不同：其中任意一个词向量的改变都会影响到别的词向量
  
• 在self-attention里：每一个输入的向量都要被变换为 $q,k,v$
  
• 而权重计算也是类似的：对于 ${\alpha }_1$ 来说，它依赖于 $q_1$，和其他所有的 $k$
  
• 对于 $c_1$ 计算来说，既依赖于上面它计算出的权重 $\alpha$ 也依赖于所有的 $v$：
  

---

Summary

• attention最初被用于改善RNN的Seq2Seq模型
• 后来发现attention不仅仅局限于Seq2Seq模型，而是可以被用在所有的RNN上
• 之后发现可以直接从RNN中剥离出attention作为一个模型使用