Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

目标检测刷到58.7 AP（目前第一）！

实例分割刷到51.1 Mask AP（目前第一）！

语义分割在ADE20K上刷到53.5 mIoU（目前第一）！

性能优于DeiT、ViT和EfficientNet等主干网络，代码即将开源！

注1：文末附【Transformer】交流群

注2：整理不易，欢迎点赞，支持分享！

想看更多CVPR 2021论文和开源项目可以点击：

https://github.com/amusi/CVPR2021-Papers-with-Code

Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

• 作者单位：微软亚洲研究院
• 代码：https://github.com/microsoft/Swin-Transformer
• 论文：https://arxiv.org/abs/2103.14030

本文介绍了一种称为Swin Transformer的新型视觉Transformer，它可以用作计算机视觉的通用backbone。在两个领域之间的差异，例如视觉实体尺度的巨大差异以及与文字中的单词相比，图像中像素的高分辨率，带来了使Transformer从语言适应视觉方面的挑战。

为了解决这些差异，我们提出了一个分层的Transformer，其表示是通过移动窗口来计算的。

通过将自注意力计算限制为不重叠的局部窗口，同时允许跨窗口连接，移位的窗口方案带来了更高的效率。这种分层体系结构具有在各种尺度上建模的灵活性，并且相对于图像大小具有线性计算复杂性。

实验结果

Swin Transformer的这些品质使其可与多种视觉任务兼容，包括图像分类（ImageNet-1K的准确度为86.4最高-1）和密集的预测任务。

例如目标检测（COCO测试中为58.7 box AP和51.1 mask AP）和语义分割（ADE20K val上为53.5 mIoU）。其性能在COCO上为+2.7 box AP和+2.6 mask AP.

在ADE20K上为+3.2 mIoU，远远超过了现有技术，证明了基于Transformer的模型作为视觉骨干的潜力。

CVer-Transformer交流群

建了CVer-Transformer交流群！想要进Transformer学习交流群的同学，可以直接加微信号：CVer9999。加的时候备注一下：Transformer+学校/公司+昵称，即可。然后就可以拉你进群了。

强烈推荐大家关注CVer知乎账号和CVer微信公众号，可以快速了解到最新优质的CV论文。