How Do Vision Transformers Work

原文链接：How Do Vision Transformer Work, in ICLR 2022
代码链接：Github

引入

从CNN的角度来看，MSA可以看成是一种特殊的卷积变换，它作用在整个feature map上，具有大尺寸的核参数，因此MSA应该具有卷积操作的基础能力。但是MSA的长距离依赖建模能力对于模型预测性能的提升，本文作者提出了反对意见，作者认为给予模型适当的距离约束可以帮助模型学习更鲁棒的表示，例如一些局部建模MSA的工作，CSAN和SwinTransformer都仅在小窗口内计算自注意力，不仅在小数据集上表现优异，而且在大型数据集例如Imagenet-21K上达到了更好的性能。基于此，作者提出了针对MSA和ViT的三个核心问题：

1. 我们需要MSA中的哪些属性来更好的优化网络，MSA的长期依赖建模到底对模型优化起到了怎样的作用？
2. MSA的操作与Conv有何不同？
3. 如何协调使用MSA和Conv才能更好的发挥它们各自的优势？

---

分析

问题一：我们需要MSA中的哪些属性来更好的优化网络，MSA的长期依赖建模到底对模型优化起到了怎样的作用？

结论：作者首先证明了MSA的本质是广义空间平滑操作，其本身的弱归纳偏置会扰乱神经网络的训练。MSA的一