【深度学习 十】swin transformer：屠榜各大cv比赛

概要

 Swin transformer: Hierarchical Vision Transformer using Shifted Windows，是微软2021.03.25公布的一篇利用transformer架构处理计算机视觉任务的论文。在图像分割，目标检测各个领域已经霸榜，让很多人看到了transformer完全替代卷积的可能。而且它的设计思想吸取了resnet的精华，从局部到全局，将transformer设计成逐步扩大感受野的工具。

论文链接https://arxiv.org/abs/2103.14030

源码链接https://github.com/microsoft/Swin-Transformer

swin transformer的降采样过程

假设图片的大小是224×224的，窗口大小是固定的，7×7。这里每个方框都是一个窗口，每个窗口是固定有7×7个patch，但是patch的大小是不固定的，它会随着patch merging的操作而发生变化。我们把周边4个窗口的patch拼在一起，相当于patch扩大了2×2倍，从而得到8×8大小的patch。

经过这一系列的操作之后，patch的数目在变少，最后整张图只有一个窗口，7x7个patch。所以我们可以认为降采样是指让patch的数量减少，但是patch的大小在变大。

这是对ViT的一个改进，ViT从头至尾都是对全局做self-attention，而swin-transformer是一个窗口在放大的过程，然后self-attention的计算是以窗口为