SwinTransformer
1.原文:
2.
3.
4.
对于不同版本的Swin Transformer模型,这里的C是不一样的
5.
进行Linear Embedding之后,还对每一个通道进行了Layer Norm
6.
这两个全部都是依据卷积层实现的
7.
这里是两个Swin Transformer Blocks,只是这两个一般都是成对去使用的
8.
这里的多层感知机在Vision Transformer中作者讲过,所以在这次视频中就没有讲了
9.
这个位置,对于分类网络,其实后面是还有网络结构的,只是在这里并没有画出来
10.
经过Patch Merging之后特征矩阵的长和宽会减半,通道数会加倍
11.
12.
MSA就是transformer中的多头注意力机制,MSA就是特征矩阵的每一个像素都会去计算它的Q,K,V,而每一个像素也都会去和别的像素的K相乘,计算相关的权重,最后乘以相关的V,最后饿到最终的结果。
W-MSA就是对于每一个小的特征矩阵使用MSA,作者这样做是为了减小计算量。
W-MSA缺点:窗口之间无法进行信息交互,所以我可以把MDTA和W-MSA弄成两个分支,分别计算细节信息和全局信息,或者使用卷积层和W-MSA弄成两个分支,卷积层计算全局信息,W-MSA计算局部信息。
14.
15.
为了解决W-MSA不同窗口之间不能通信的缺点,创造了SW-MSA
16.
把上面的矩阵,先向上移动两个像素点,然后再向左移动两个像素点就得到了下面这张特征矩阵
17.
18.
这两个结构最终实现的功能是一样的
21.
以Swin-T举例