如何看待微软亚洲研究院的Swin Transformer？

链接：https://www.zhihu.com/question/451860144

编辑：深度学习与计算机视觉

声明：仅做学术分享，侵删

作者：kai.han

https://www.zhihu.com/question/451860144/answer/1812522247

最近一直在关注ViT网络结构的改进，已有工作大致可以分为3类：

1. Transformer in Transformer [arXiv]：在每层同时对局部和全局进行特征交互。

2. 金字塔型Transformer [PVT] [PiT] [HVT]：每层都对全局进行关系建模，只不过特征图宽高不断缩小、提纯特征。

3. Swin Transformer [arXiv]：每层仅对局部进行关系建模，同时不断缩小特征图宽高，扩大感受野。

其他还有在position encoding、attention机制方面的改进，和CNN+Transformer的融合等等，有空再总结一波。

作者：mileistone
https://www.zhihu.com/question/451860144/answer/1812073911

Swin Transformer最重要的两点是hierarchical feature representation和SW-MSA（Shifted Window based Multi-head Self-attention）。

Swin Transformer

Hierarchical Feature Representation

Hierarchical feature representation的思路取自CNN结构，整个模型分为不同stage，每个stage对上一个stage输出的feature map进行降采样（H、W变小）；stage中每个block对局部进行建模而非全局。

Swin Transformer示意图

降采样

Swin Transformer中通过Patch Partition和Patch Merging来实现降采样，实际上二者是一个东西，也就是kernel size与stride相同的conv。Patch Partition的kernel size和stride为4，Patch Merging的kernel和stride为2，跟CNN中的降采样方法相同。

局部dependency

W-MSA（window based Multi-head Self-Attention）建模的是局部window的dependency，而不是MSA（Multi-head Self-Attention）中的全局，这有助于降低模型的计算复杂度，这个思路跟conv是一样的。

W-MSA跟conv类似，也有kernel size和stride两个参数，在同一个stage里，conv的kernel size一般大于stride，比如经典的kernel size为3，stride为1。但是W-MSA在同一个stage里的kernel size和stride相同，这导致了一个问题——feature map上相邻的window之间永远不会交互，也就是一个stage中有1个W-MSA和N个W-MSA的感受野是没区别的。

CNN中因为kernel size比stride大，随着conv的堆叠，感受野会逐步增加；MSA因为kernel size完全覆盖feature map，所以每个MSA都具备全局感受野。

为了缓解这个问题，作者给W-WSA打了个补丁，得到了SW-MSA（Shifted Window based Multi-head Self-attention）

SW-MSA

SW-MSA

Swin Transformer中连续的block会依次交替使用W-MSA和SW-MSA。SW-MSA相比W-MSA唯一不同的地方在于将window进行shift，这种思路跟TSM异曲同工之妙。TSM想通过2D conv将时序信息encode进来，于是将各个frame的feature map在T维度进行shift；SW-MSA为了让相邻window之间产生交互，对window进行shift。

TSM

一些感想

关于Swin Transformer

Swin Transformer使用CNN结构设计中的一些理念（降采样、局部dependency、TSM）来重新设计Transformer，和我之前在如何看待Transformer在CV上的应用前景，未来有可能替代CNN吗？的回答不谋而合。

SW-MSA这种解决方法我感觉不够优雅，应该有其他替代方案，比如W-MSA中的kernel size大于stride，这样就类似于CNN，随着block的增加感受野可以逐渐变大。

天下文章一大抄

这里的抄不是抄袭的意思，而是说研究中的新思路大部分以前已经有了，面对一个问题，重新组合历史上已有的思路或者使用新的技术来实现历史上的思路，可能就会得到一个不错的结果。

一个领域的技术会不断发展，以计算机视觉为例，从局部特征子、CNN到Transformer，但是背后核心的思路是相对固定的。我们可以在CNN中看到局部特征子时代的印记，同样我们也会在Transformer应用在计算机视觉领域时，看到CNN的影子。

现在技术发展日新月异，只有抓住一个领域背后演进相对缓慢的思路，我们才可以以不变应万变，不然我们永远在追赶新技术，累得气喘吁吁。

作者：Silvilla
https://www.zhihu.com/question/451860144/answer/1855633079

Swin Transformer在image classification和dense prediction任务上的SOTA结果，一大半可以归功于CNN架构

仔细考虑一下Swin Transformer的架构，可以看做是优化版的CNN，重点仍然是local interaction, 逐层扩大receptive field而得到semantic understanding。优化的地方主要在于用局部patch的全连接attention替换了CNN的卷积。CNN卷积按stride移动的时候相邻区域有大量重叠，swin transformer 的不重叠patch分片和滑动窗口自注意力（shifted window multi-head self-attention） 直接按patch size的一半移动，这种重叠度降低了，但是整体上二者的核心架构是很相似的

对图像分割为patch后在每个patch内部做attention，再通过滑动窗口实现不同patch间的信息交互，这个角度从transformer来看很新颖，但是跟CNN对比，会发现这或许是对CNN既有成效的又一次佐证（不是说CNN架构是最好的，仅对比Swin Transformer和CNN）

作者：tabsun
https://www.zhihu.com/question/451860144/answer/1838830950

这篇文章旨在transformer这条线上建立可以被高引的backbone，替代cnn系列。

最难能可贵的是，这个backbone不是在某个场景下搜索或者优化的结果，比较通用。还没有实际跑过实验不敢说在各种其他数据集上和业务数据上是不是也有提升。

如何在降低msa的计算量的情况下，做尽量大的或者尽量优美的receptive field/attention distance，以及其他一些问题，依然值得多问一句为什么，是个令人鼓舞的坑，大伙继续挖矿吧。

作者：匿名用户
https://www.zhihu.com/question/451860144/answer/1855194965

太复杂了，position encoding 和 attention mask我看代码都看不懂。（我好歹也是既发过CVPR, 也有不少工程经验，应该不能算是太菜）。

大道至简，以后会有 vision transformer 界的resnet出现，但不会是这一篇。

☆ END ☆

如果看到这里，说明你喜欢这篇文章，请转发、点赞。微信搜索「uncle_pn」，欢迎添加小编微信「 mthler」，每日朋友圈更新一篇高质量博文。

↓扫描二维码添加小编↓