swin transformer

地址：

每下采样两倍通道数翻倍（下采样，高和宽缩减为原来的一半，通道数会翻倍 ）

网络整体框架

Patch Merging

 

划分窗口，每个窗口之间进行自注意力计算，窗口之间互不影响

 

滑动窗口

 

如何在不同窗口之间不计算自注意力 ?

 

例：

 

如下：

黄色窗口之间的内容是连续的，因为图像块本来就挨着呢，紫色的经过平移转换之后图像块之间不连续

使用mask MSA进行计算

 

 

相对位置偏置（右下是负，左上是正）

每个位置的相对位置索引行索引和列索引

 

如何将二元坐标换成一元坐标

偏移从0开始 将上图的位置坐标值都加上一（M-1）这里M=2 M是窗口，这里窗口是2*2，那M就等于2

 

再在行标上乘以3（2M-1）M=2

 

再将行标和列标相加

 

按照表格位置编码表得到最终的位置编码信息

 

vit与swin transformer

vit的自注意力始终都是在整张图上（就一个窗口，也就是最大的窗口）进行的，是一个全局建模

swin transformerr借鉴了很多卷积神经网络的理念

池化操作能够增大每一个卷积核能看到的感受野，从而使得每次池化过后的特征抓住物体的不同尺寸

注：池化操作的长宽减半，通道翻倍的意思（下图）

 

 

 第一次是正常的窗口自注意力，第二次是移动窗口自注意力，两次是绑定的，这也是在四个阶段swin transformer都为偶数的原因

 

拿向量转置和自身内积之后的矩阵与一个掩码矩阵相加，那原本不同窗口之间的元素（63 36）就加上了-100之后变成了一个很小的数，再经过softmax之后就成0了，而原本一个窗口之间的元素加上0之后不会带来任何影响  

 

再看看另一种窗口的排列方式  

 

 

作者给出的掩码模板的可视化  

 

相对位置编码

Transformer中的位置编码由正余弦函数生成，是不学习的，且只在第一个layer添加位置编码；在ViT中，由1-D索引对应一个768维的位置编码，位置编码可以学习。而Swin Transformer使用的位置编码有两点不同：（1）位置编码加的位置不同，加在了attention矩阵中；（2）使用的是相对位置信息而不是绝对位置信息