用自注意力增强卷积：新老两代神经网络的对话

最近又开始关注图像识别领域，和一位csdn 网友沟通后，了解到自注意力（self-attention）机制。

网上查询了一篇文件https://www.jiqizhixin.com/articles/2019-04-26-7，勘正了笔误。

2014 年，Bahdanau 等人针对机器翻译任务提出了注意模型，现在它已成为一种常用的神经网络方法。

谷歌大脑在 arXiv 上公布了一篇新论文，提出使用注意机制增强卷积以加强获取全局相关性的能力。

在图像分类和目标检测上的实验结果表明这种方法确实有效。

卷积神经网络（CNN）在大量计算机视觉应用中取得了极大成功，尤其是图像分类。卷积层的设计需要通过受限的感受野来确保局部性（locality），以及通过权重共享来确保平移等效性（translation equivariance）。研究表明，这两种属性是设计图像处理模型时关键的归纳偏置。但是，卷积核固有的局部性使它