Swin Transformer: Hierarchical Vision Transformer using Shifted Windows论文阅读

paper:https://arxiv.org/pdf/2103.14030v1.pdf
code: https://github.com/microsoft/Swin-Transformer

摘要

采用transformer来做计算机视觉任务有两个挑战：
(1)视觉目标的尺度具有很大的变化；
(2)相比于文本，高分辨率的像素具有很大的计算量；
为了解决这些不同，论文提出一个层级的transformer，并采用shifted windows计算表示；
shifted windows带来了巨大的高效性，通过限制self attention在non-overlapping局部窗口的计算量，并保持cross-window连接；
这个层级架构可以很灵活的对不同尺度建模，并且随着image-size线性的增加计算量；
Swin transformer在图像分类imagenet达到86.4的top 1准确率，在密集任务目标检测coco test-dev上达到58.7box AP和51.1 mask AP,
语义分割ADE20K val上达到53.5mIOU，在coco上超过之前的SOTA+2.7 box AP、+2.6 mask AP，在ADE20K上超过之前的SOTA+3.2mIOU；

介绍

transformer在NLP取得巨大的成功，使研究者将transformer迁移到视觉任务上，然而最近的研究也证明transformer能够在视觉任务取得较好的效果；
在该论文中，作者寻求将transformer扩展为计算机视觉通用的backbone，现在很多的视觉任务（比如说语义分割）需要密集像素级别的预测，这往往需要很高的分辨率，但image-size的增加会给self-attention带来二次方的计算复杂度，为了克服这个问题，作者提出了一个通用的transformer backbone，叫做swin transformer；
如图1所示，swin transformer设计了一个层级的表示，从小的patches开始，然后在更深的transformer层逐步融合邻近的patches；通过这个层级特征图，swin transformer模型可以很好的利用密集预测器先进的技术，比如说FPN和Unet；线性增长的复杂度通过局部计算non-overlapping滑窗的self-attention实现；
每个窗口的patches数量是固定的，因此复杂度是随着image-size的增长线性增长；这些优点使得swin transformer可以为多个视觉任务作为一个通用的backbone；之前基于transformer的架构，只