【機器學習2021】7 Self-attention

【機器學習2021】自注意力機制 (Self-attention)

Transformer: Attention is all you need

Self-attention input可以是hidden layer的output

1. Find the relevant vector in a sequence

计算相关度(relevant) $\alpha$的方法: Dot-product & Additive

每一个 $\alpha$ 乘上不同的矩阵得到 $q,k,v$

其中，矩阵$W^q,W^k,W^v$是网络learn出来的

(self-attention中这是唯三需要learn的参数，其它都不用

2. 计算attention score（一排$\alpha$）

其他所有变量对于该变量的相关度$\alpha$，包括自己

​ 这里都是Dot-product，直接q点乘k

​ 可以变成矩阵相乘（下图右下），得到相关度矩阵A

3. 取softmax，$\alpha$ 变成${\alpha }^{’}$（ $A$ 变成$A^{’}$）

A’ :Attention matrix

用softmax没什么道理，Relu都可以的

4. 基于attention score提取重要的相关信息

计算了
$$b=\sum a_{1,i}^{{}^{\prime }}{v}^i$$

，其中$v$由$a$计算得到 (记得对自己也要算)

attention越大，$b$ 会越接近其中的 $v$

Self-attention 是包括了 CNN

Self-attention更加flexible，所以：

小数据上CNN好，大数据上Self-attention好

Self-attention 取代了 RNN （maybe）

1. Self-attention的注意力全局，RNN记忆力较短
2. RNN非平行化，按顺序生成；Self-attention一次平行处理完（更快了）
   f-attention的注意力全局，RNN记忆力较短
3. RNN非平行化，按顺序生成；Self-attention一次平行处理完（更快了）