自注意机制论文学习: On the Relationship between Self-Attention and Convolutional Layers

背景

transformer的提出对NLP领域的研究有很大的促进作用，得益于attention机制，特别是self-attention，就有研究学者将attention/self-attention机制引入计算机视觉领域中，也取得了不错的效果[1][2]。该论文[4]侧重于从理论和实验去验证self-attention[3]可以代替卷积网络独立进行类似卷积的操作，给self-attention在图像领域的应用奠定了坚实的基础

论文理论部分

（1）多头自注意机制

定义$X\in {\mathbb{R}}^{T\times Din}$为输入矩阵，包含$T$个$Din$维的token，在NLP中，token对应着序列化的词，同样地也可以对应序列化的像素（关键对应：像素对应词）

self-attention layer从$Din$到$Dout$的计算如上图所示， $A$为attention scores，softmax将score转换为attention probabilities。 该层的参数包含查询矩阵(query matrix) $Wqry\in {\mathbb{R}}^{Din\times Dk}$， 关键词矩阵(key matrix) $Wkey\in {\mathbb{R}}^{Din\times D_k}$， 值矩阵(value matrix) $Wval\in {\mathbb{R}}^{Din\times Dout}$， 都用于对输入进行变化，基本跟NLP中的self-attention一致，词序列对应于像素序列。

因为只考虑相关性，self-attention一个很重要的属性是，不管输入的顺序如何改变，输出都是不变的（引出位置编码），这对于希望顺序对结果有影响的case影响很大，因此在self-attention基础上为每个token学习一个positional encoding参数，$P\in {\mathbb{R}}^T$