2021-05-07

self-attenation

蓝色区域是self-attention输出。每个$a$是一个向量，$a^i(i=1,....,n)$ 是一串向量。$a^i$可能是一个系统输入，也可能是上一个self-attention层的输出。
下面写出$b^1$的计算方式：

先计算出$a^1$和其他$a^i(i=1,....,n)$ 的关联性，用$\alpha$ 来表示两个向量之间的关系度。求$\alpha$ 有几种做法，这里用点乘举例。


这里有两个矩阵一query矩阵$w^q$，一个ask矩阵$w^k$。${\alpha }_{1,1}=q^1\cdot k^1,{\alpha }_{1,2}=q^1\cdot k^2$。
然后经过softmax层。
${\alpha }_{1,i}^{\prime }=\exp \left({\alpha }_{1,i}\right)/{\sum }_j\exp \left({\alpha }_{1,j}\right)$

这里出现了一个新矩阵$W^v$，$v^1=W^v{a}^1$.
${\mathbf{b}}^1={\sum }_i{\alpha }_{1,i}^{\prime }{\mathbf{v}}^i$
$w^q,w^k,w^v$是要训练的参数。

这是multi-head的self-attention。$q^{i,1}$只和$k^{j,1}$和$k^{i,1}$计算。

同理可得$b^{i,2}$。

这是输出的$b^i$。
multi-head self-attention中每个$q^i$都对应一个关联关系。多几个$q^i$就可以找出多几个关联关系。
通过position encoding 把位置信息变成一个向量$e^i$加入到${\alpha }^i$中。
可以吧rnn和cnn看成特殊的self-attention。