[论文阅读] Attention is all your need（从CV角度看Transformer）

动机

这篇文章做的任务是机器翻译。而前面使用广泛的RNN等网络只能对距离较近的词建模较高的关联性，而这篇文章提出一个名为Transformer的网络，具有self-attention机制，能对所有词进行关联性学习，无论远近。

方法

从CV的角度看，Transformer（后面称trans）和SENet有些像，其本质是在做特征的重标定，让特征中相关性更强的特征有更多的注意力。是一个很好的特征提取器。

例如I arrived at the bank after crossing the river.这句话的翻译，结合river可以知道bank的意思是河岸而不是银行，所以bank和river是相关的，和after等是不想关的。而在trans中，这一过程表现为：拿着这句话每一个单词（例如bank）去和自己匹配，找到after、crossing等，都不想关，而river是相关的，所以经过attention后的特征，就要建模这种相关性，也就是在bank-river上花的注意力更大，权重更大。

作者认为，attention实际上就是一个函数，从一个特征变到另一个更好的特征。作者设计这个函数时，提出了query，key，value三个概念。上面的例子中，bank就是query，after、crossing、river都是key，query和key相互作用计算出一个权重&