weixin_37541419的博客

原创 swin transformer的一点见解和疑问

论文：https://link.zhihu.com/?target=https%3A//arxiv.org/abs/2103.14030 swin transformer主要 该论文的核心思路如下： 1)对于每一层特征(H,W,C)降采样，降采样方式没有使用卷积，而是间隔采集像素点，然后将采集后的像素特征concate（H/2,W/2,4C），空间信息转为通道信息； 2）每一层都在固定窗口内（如7x7）做attention，相当于局部attention； 3）偶数层会有网格线迁移，如下图所示，实现