一文解答Swin Transformer + 代码【详解】-CSDN博客

本文链接：https://blog.csdn.net/qq_23022733/article/details/141884208

文章目录

1、Swin Transformer的介绍

下面是Swin Transformer论文的Abstract，

在这里插入图片描述

1.1 Swin Transformer解决图像问题的挑战

原论文中的Abstract讲到：Challenges in adapting Transformer from language to vision arise from differences between the two domains, such as large variations in the scale of visual entities and the high resolution of pixels in images compared to words in text。也就是说在一张图片中，不同的object有不同的尺度，以及与NLP相比，图像处理需要更多的token，下面来看在CNN中是如何解决不同的object有不同的尺度这个问题的，CNN是通过Conv和Pool对特征图中像素的不同感受野来检测不同尺度的物体，如下图所示，

在这里插入图片描述

为什么多尺度检测对于Swin Transformer是有挑战性的，请看下图最左边的Transformer结构，当图片的宽高像素是 $\sf{h} \times \sf{w}$ ，所以一共有 $\sf{h} \times \sf{w}$ 个token，输入给Transformer时，输出也是 $\sf{h} \times \sf{w}$ ，所以Transformer并没有做下采样操作，下图中间的是ViT的结构，下图最右边的是Swin Transformer结构，MSA是multi-head self-attention的缩写，

在这里插入图片描述

1.2 Swin Transformer解决图像问题的方法

Swin Transformer如何解决相比NLP中更多的token呢，Swin Transformer提出了hierarchical Transformer，hierarchical Transformer是由shifted windows计算出来的，

下面是MSA，W-MSA，SW-MSA的示意图，如果对于MSA处理56x56个像素的图片，需要计算 $3136^2$ 次的相似度，计算量较大；W-MSA将56x56个像素分割成8x8个windows，每个windows由7x7个像素组成，每个windows单独计算MSA，作用是减少计算量，缺点是windows之间没有信息交互，计算相似度为；SW-MSA可以解决windows之间没有信息交互的问题，例如下图最右边的示例，把一个8x8的图片的分成4个windows，然后分割grid向右下角移动 window // 2，这样分割的windows就可以包含多个windows之间的信息，

在这里插入图片描述

如下图中最左边部分的1，2，3包含多个windows的信息，

在这里插入图片描述

下图黄色虚线框标记的是Swin Transformer处理模块，每次经过Swin Transformer模块，patch Merging使特征层减少一半，通道数增加一倍，

在这里插入图片描述

与ViT特征层不变不同，每次经过Swin Transformer模块，特征层减少一半，通道数增加一倍，

在这里插入图片描述

2、Swin Transformer的具体过程

2.1 Patch Partition 和 Linear Embedding

如下图，黄色虚线框的作用是下采样，

在这里插入图片描述

将224x224x3的特征图中的4x4x3的像素patch成1个token，然后通过concat操作，就得到了4x4x3=48个特征维度，把这个48个维度的向量看成一个token，所以224x224x3的特征图有56x56个token，每个token的特征维度是48，再经过一个映射把48个维度映射成96个维度，如下图所示，

在这里插入图片描述

Patch Partition 和 Linear Embedding在上面的示意图上是2个步骤，但是在代码中却是一步完成的，如下代码中的self.proj，

在这里插入图片描述

2.2 W-MSA、SW-MSA

如下图，2个连续的swin transformer结构与ViT的结构只有W-MSA、SW-MSA和MSA的区别，其他的MLP、Norm结构都相同，

在这里插入图片描述

下面是MSA和W-MSA的示意图，相较于MSA，W-MSA计算量较小，但是windows之间没有信息交互，

在这里插入图片描述

下面是SW-MSA的示意图，SW-MSA采用新的 window 划分方式，将 windows 向右下角移动 window size // 2，移动之后会发现windows的大小不一样，先把A+B向右移动，然后A+C再向下移动就解决了windows的大小不一样的问题，这样就可以并行地计算SW-MSA了，
需要注意到，移动之后每个window的像素并不是连续的，如何解决这个问题，请看下面的解释，