自注意力机制(self-attention)

视频链接：https://www.bilibili.com/video/BV1v3411r78R/?spm_id_from=333.337.search-card.all.click&vd_source=8de64249f3698ea673fe42aabb025b29

输入：
Vector Set: 句子、声音信号、Graph(consider each node as a vector)

输出：

• Each vector has a label: 词性标注、推荐商品
• whole sequence has a label : 情感分析（正面/负面）、语音辨识（演讲人），分子亲水性
• Model decides the number of labels itself(seq2seq) : 翻译，语音辨识

1 Sequence Labeling(Each vector has a label)

第一个saw :看到； 第二个saw:锯子
仅仅通过FC无法获取对应的信息，可以通过考虑相邻的向量（window），window的缺点：1、开的太大开销会变大，并且会过拟合；2、开的小效果不好
解决办法：self-attention（self-attention考虑整个sequence）

2 Self-Attention

每个$b_i$都考虑了所有的$a_i$,下面以如何产生$b_1$举例：

1. 在sequence中找出跟$a_1$相关的其他向量，做self-attention的目的就是要考虑整个sequence但是又不希望将整个sequence的资料都包含在里面，所以采用机制——根据$a^1$这个向量找出整个sequence哪个向量是重要的，哪个向量对判断$a^1$的label是有关系的。每个向量与$a^1$的关系程度用$\alpha$来表示
   

2. self-attention如何决定两个向量之间的关联性（如何求$\alpha$?）
   
   计算关联性有很多方法，但是 $Dot-product$最常用，且transformer用到该model，下面均使用该model

3. 如何套用在self-attention中？
   

得到${\alpha }_{1,i}^{\prime }$ 可以知道哪些向量和$a^1$最有关系，接下来根据得到的分数（${\alpha }^{\prime }$）来抽取重要咨询，
4. 如何抽取重要的咨询

3 self-attention —— 矩阵乘法

3.1 求Q、K、V

3.2 计算Attention Score

3.3 Self-Attention 输出

3.4 总结

整个模型中只有$W^q，W^k,W^v$是未知的，需要训练的。

4 Mutil-Head Self-Attention

5 Positional Encoding

• Each position has a unique positional vector $e^i$($i$ 表示位置)
• hand-crafted
• even can be learned from data
  

transformer使用的位置编码

6 Self-Attention for Image

7 Self-Attention v.s. CNN