1. MSDA介绍
1.1 摘要:作为事实上的解决方案,鼓励使用普通视觉变换器(ViT)对任意图像块之间的远程依赖性进行建模,而全局参与感受野会导致二次计算成本。 Vision Transformers 的另一个分支利用了受 CNN 启发的局部注意力,它只模拟小邻域中斑块之间的相互作用。 尽管这样的解决方案降低了计算成本,但它自然会受到较小的参与感受野的影响,这可能会限制性能。 在这项工作中,我们探索有效的视觉变压器,以在计算复杂性和参与感受野的大小之间寻求更好的权衡。 通过分析 ViT 中全局注意力的补丁交互,我们观察到浅层中的两个关键属性,即局部性和稀疏性,表明 ViT 浅层中全局依赖建模的冗余。 因此,我们提出多尺度扩张注意力(MSDA)来模拟滑动窗口内的局部和稀疏补丁交互。 通过金字塔架构,我们通过在低级阶段堆叠 MSDA 块和在高层阶段堆叠全局多头自注意力块来构建多尺度扩张变压器(DilateFormer)。 我们的实验结果表明,我们的 DilateFormer 在各种视觉任务上实现了最先进的性能。 在 ImageNet-1K 分类任务中,DilateFormer 实现了与现有最先进模型相当的性能&#x