Attention Augmented Convolutional Networks

Attention Augmented Convolutional Networks

会议：ICCV 2019
作者：

背景

卷积操作有一个明显的弱点，即它只对局部社区进行操作，从而错过了全局信息。
自注意力 主要应用于序列建模和生成建模任务。

考虑将自注意力机制用于判别视觉任务，作为卷积的替代方法。

创新

引入了一种新的二维相对自注意机制，证明它在取代卷积作为图像分类的独立计算原语方面具有竞争力。在注入相对位置信息的同时保持平移等变性，使其非常适合图像。

best results = convolutions + self-attention

建议通过将卷积特征映射与一组由自注意产生的特征映射连接起来，从而用这种自注意机制增强卷积算子。

卷积层的设计加强了：
1）通过有限的接受野定位
2）通过权值共享的平移等方差