论文名称:《S^2-MLPV2: IMPROVED SPATIAL-SHIFT MLP ARCHITECTURE FOR VISION》
论文地址:https://arxiv.org/pdf/2108.01072.pdf
文章目录
1 原理
最近,基于多层感知机(MLP)
的视觉骨干网络开始出现。相比于CNN
和视觉Transformer
,具有较少归纳偏差的基于MLP
的视觉架构在图像识别中取得了有竞争力的性能。其中,采用直接的空间位移操作的空间位移MLP (S2-MLP)
在性能上优于包括MLP-mixer
和ResMLP
在内的开创性工作。最近,使用具有金字塔结构的较小补丁,Vision Permutator (ViP)
和Global Filter Network (GFNet)
在性能上优于S2-MLP
。在本文中,我们改进了S2-MLP
视觉骨干网络。我们沿通道维度扩展特征图,并将扩展后的特征图分成几个部分。我们对这些分割部分进行不同的空间位移操作。同时,我们利用分割注意力操作来融合这些分割部分。此外,与之前的方法类似,我们采用较小规模的补丁,并使用金字塔