m0_37634594的博客

提出一个新的transformer，swin transfomer，可做为视觉领域一个通用的骨干网络。1.尺度问题，eg:街景场景，车、人有不同的尺寸2.图像分辨率太大：特征图、图像patch、图片画成小窗口窗口内做自注意力机制提出，特征通过移动窗口方式获得优点：1.更大效率，序列长度降低2.移动操作，相邻窗口可以交互。上下层之间，全局建模能力。层级式结构好处：提供各尺度特征信息；自注意力在小窗口计算，计算复杂度随图像大小线性增长。

vit论文阅读

​ 主流序列转录模型使用rnn或cnn，使用encoder和decoder，在好的模型中通常也会使用注意力机制。本文提出一个简单的架构，仅仅依赖注意力机制，并行度更好，训练更快。在机器翻译上结果很好。