2022李宏毅机器学习深度学习学习笔记第三周--Self-attention

---

摘要

介绍一种常见的network架构，叫 Self-attention自注意力机制 ，下文介绍了Self-attention的计算过程，以及Self-attention和之前所讲的CNN和RNN相比，他们之间的关系以及它的优势。

---

一、Self-attention的引入

目前为止network的输入都还是一个向量，如果输入是一排向量（a set of vectors），而且输入向量的数目不定。下面介绍输入是一排向量且长度会改变的例子。
1.文字处理 vector set as input

假设输入是一个句子，句子的每个词汇都描述成一个向量，怎么把单词描绘成向量
1.1 one-hot encoding 每个词汇对应一个向量，如下图：

这种表示存在的问题就是向量之间没有语义的存在。
1.2 Word embedding

这种表示有语义的信息的，从图中可以看出所有的动物、植物和动词分别是一团。
2.声音讯号

一段声音讯号取25ms为一个frame，描述一整段声音讯号将图中的窗口右移10ms。
可能的输出类型
1，每一个向量都有一个label，输入几个向量就输出几个label。这种处理的应用有文字处理POS tagging(标注处每个单词的词性)
2.一整个序列只需要有一个label输出。比如sentiment analysis（给机器一段话，让机器决定这段话是正面的还是负面的）
3.机器自己决定输出的label的数量。 上述的第一种类型的输出又叫sequence labeling。 它的连接方式是fully-connected，同时还有考虑上下文，因为相同的单词可能输出不同的词性。但是这种不能考虑整个序列，考虑整个序列要用到self-attention。

self-attention 运作方式

self-attention可以叠加，如下图：

self-attention的输入可能是整个network的输入也可能是hidden layer 的输出；输入为a，输出是考虑了所有的a得到b。
上图如何产生输出b1？
1.根据a1找出输入序列中和a1相关的其他向量，每个向量和a1相关程度用α来表示，需要计算attention 的模组，拿两个向量作为输入，输出α（关联程度）。
计算α的数值的做法有两种：
1. Dot-product
输入的两个向量分别乘上不同的矩阵得到q,k，再把q，k相乘得到α。

2. Additive

拿每个query q去对每个key k做attention,通过一个softmax函数

根据α，我们知道哪些向量和a1是最有关系的，将a1-4乘上wv得到新的v1-4,v1-4乘上α得到b1。谁的分数大，谁的v就更影响结果b.

multi-head self-attention

self-attention的进阶版本叫multi-head self-attention
先将ai乘上矩阵得到qi,再将qi乘上两个矩阵得到qi1,qi2,k和v也是相似的，在算attention分数的时候不用管k2，只管k1就好了，得到bil;k2和k3类似k1的操作；bi1和bi2合起来乘上矩阵得到bi。

Position Encoding(位置嵌入)
可以将未知的资讯加到self-attention中，为每个位置设定一个向量叫位置向量e，e加到ai上就结束了。

self-attention和CNN的比较

CNN只考虑receptive field，可以看做是简化版的self-attention，CNN是self-attention的特例，self-attention通过某些限制就可以变成CNN。

从图中看出在资料量很少的时候CNN优于self-attention，在资料量较多的时候，self-attention超过了CNN；优于self-attention的弹性比较大，在训练资料多的时候结果比较好。

self-attention和RNN的比较

RNN最左边的输入存在memory中，一路都不能忘掉带到最右边，才能在最后的时间节点被考虑。对于self-attention没有这个问题。
还有一个主要的区别是RNN没有办法平行化，同时处理所有的输出，而self-attention可以平行处理所有的输出。

二、总结

Self-Attention的作用就是全局关联权重，然后做输入的加权和，对attention的不同部分给予不同的关注度。由于RNN系列的模型，无法并行计算，self-attention与RNN相比的优点是可以平行处理。