Swin Transformer

论文： Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

Github：https://github.com/microsoft/Swin-Transformer

https://github.com/rwightman/pytorch-image-models

https://github.com/open-mmlab/mmclassification

论文提出了 Transformer的改进版本Shifted windows Transformer，即Swin Transformer。通过滑动窗口的思想Shifted windows，使得相邻patch之间的信息得到了交互，使得精度更佳。最终在 ImageNet-1K分类任务上达到 87.3%的top-1准确性， COCO testdev检测任务上达到 58.7% box AP ，51.1% mask AP， ADE20K val语义分割任务上达到 53.5 mIoU。

相比之前的Vit模型，只有单一的低分辨率，平方倍的计算复杂度。并且需要大量的训练数据，比如 JFT-300M。 DeiT通过一些训练策略实现对Vit改进，使得可以在相对比较小的训练集 ImageNet-1K上进行训练。本文的Swin Transformer通过将patch进行合并，实现了多尺度的分辨率，并且每个patch都只线性的计算复杂度。 

attention模块在每一个patch内进行计算，相邻patch通过滑动窗口进行信息的交互。

具体的通过更加高效的循环漂移（cyclic-shifting）策略，实现了基于batch的注意力转移。

网络结构：

 

输入图片为H*W*3，每一个patch为4*4的像素块，从而将输入图像的维度转化为(H/4)*(W/4)*(4*4*3)=(H/4)*(W/4)*(48)，然后经过embedding操作，依次进入后续的stage1，stage2，stage3，stage4。第一个stage只进行通道的改变，后续的stage2，stage3，stage4，依次将通道加倍，将分辨率减半。每一个stage都是通过swin transformer block组成，swin transformer block又通过多分支自注意力模块multi-head self attention modules实现，主要包含了传统的自注意力模块W-MSA和滑动窗口的自注意力模块SW-MSA组成。 

实验结果：

分类结果：

 

 检测结果：

分割结果： 

 

 

总结：

swin transformer在视觉领域的分类，检测，分割，任务中都取得了state-of-the-art的效果。当然即使是tiny模型，也在100M以上。通过和efficientnet-b4进行对比，在自己的数据集上，swin-tiny会比efficientnet-b4高出平均2个点。mmclassification的实现比timm的实现会高1个多点。