地址:
每下采样两倍通道数翻倍(下采样,高和宽缩减为原来的一半,通道数会翻倍 )
网络整体框架
Patch Merging
划分窗口,每个窗口之间进行自注意力计算,窗口之间互不影响
滑动窗口
如何在不同窗口之间不计算自注意力 ?
例:
如下:
黄色窗口之间的内容是连续的,因为图像块本来就挨着呢,紫色的经过平移转换之后图像块之间不连续
使用mask MSA进行计算
相对位置偏置(右下是负,左上是正)
每个位置的相对位置索引行索引和列索引
如何将二元坐标换成一元坐标
偏移从0开始 将上图的位置坐标值都加上一(M-1)这里M=2 M是窗口,这里窗口是2*2,那M就等于2
再在行标上乘以3(2M-1)M=2
再将行标和列标相加
按照表格位置编码表得到最终的位置编码信息
vit与swin transformer
vit的自注意力始终都是在整张图上(就一个窗口,也就是最大的窗口)进行的,是一个全局建模
swin transformerr借鉴了很多卷积神经网络的理念
池化操作能够增大每一个卷积核能看到的感受野,从而使得每次池化过后的特征抓住物体的不同尺寸
注:池化操作的长宽减半,通道翻倍的意思(下图)
第一次是正常的窗口自注意力,第二次是移动窗口自注意力,两次是绑定的,这也是在四个阶段swin transformer都为偶数的原因
拿向量转置和自身内积之后的矩阵与一个掩码矩阵相加,那原本不同窗口之间的元素(63 36)就加上了-100之后变成了一个很小的数,再经过softmax之后就成0了,而原本一个窗口之间的元素加上0之后不会带来任何影响
再看看另一种窗口的排列方式
作者给出的掩码模板的可视化
相对位置编码
Transformer中的位置编码由正余弦函数生成,是不学习的,且只在第一个layer添加位置编码;在ViT中,由1-D索引对应一个768维的位置编码,位置编码可以学习。而Swin Transformer使用的位置编码有两点不同:(1)位置编码加的位置不同,加在了attention矩阵中;(2)使用的是相对位置信息而不是绝对位置信息