Swin-Transformer论文解析

最新推荐文章于 2024-03-09 13:50:38 发布
最新推荐文章于 2024-03-09 13:50:38 发布
阅读量2.8k 收藏 25
点赞数 5
分类专栏： 经典论文 文章标签： transformer 深度学习 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40859461/article/details/126158922
版权

目录

Swin-Transformer

Swin Transformer: Hierarchical Vision Transformer using Shifted Windows.
Ze Liu, Yutong Lin, Yue Cao, Han Hu, Yixuan Wei, Zheng Zhang Stephen Lin, Baining Guo
Computer Vision and Pattern Recognition (2021)
Microsoft Research Asia
https://github.com/microsoft/Swin-Transformer
Swin: Shifted Windows

swin-transformer是什么？
swin-transformer是可以用于计算机视觉任务的通用主干网络，可以用于图像分类、图像分割、目标检测等一系列视觉下游任务。
下面是swin-transformer在各个领域的一些应用
在这里插入图片描述

解决了什么问题？

  1. 与NLP领域不同，视觉领域同类的物体，在不同图像上/同一图像上的尺度会相差巨大；
  2. 相较于文本，图像的尺寸过大，计算复杂度较高；

优点是什么？

  1. 提出了一种层级式网络结构，解决视觉图像的多尺度问题；
  2. 提出Shifted Windows，极大降低了transformer的计算复杂度；
  3. 可以广泛应用到所有计算机视觉领域；

结论是什么？
Transformer完全可以在各个领域取代CNN

效果怎么样？
在ImageNet上并非SOTA，仅与EfficientNet的性能差不多
swin-transformer的优点不是在于分类，在分类上的提升不是太多，而在检测、分割等下游任务中，有巨大的提升.
在这里插入图片描述
在目标检测数据集COCO上，比当时的SOTA提高了2.7点左右的mAP
下面是paper with code上的最新截图，几乎全是Swin-Transformer的变体
在这里插入图片描述
在语义分割数据集ADE20K上，比当时的SOTA提高了3.2点左右的mAP
下面是paper with code上的最新截图，也几乎全是Swin-Transformer的变体
在这里插入图片描述

Attention机制的发展历程

  1. Bengio团队于2014年提出Attention机制，用于机器翻译中，使模型自动寻找原文本中与预测目标单词相关的内容
    Bahdanau D, Cho K, Bengio Y. Neural machine translation by jointly learning to align and translate[J]. arXiv preprint arXiv:1409.0473, 2014.

  2. 谷歌团队于2017年提出基于注意力机制的Transformer架构代替RNN
    Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need [C]//Advances in Neural Information Processing Systems. 2017: 5998-6008.

  3. 2018年Momenta提出SENet，开始将Attention机制与CNN结合，用于图像领域
    Jie Hu et al. Squeeze-and-Excitation Networks. Computer vision and Pattern recognition (2018)

  4. 谷歌大脑于2020年提出第一篇应用于图像领域纯Attention网络ViT
    Alexey Dosovitskiy et al. “An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale” arXiv: Computer Vision and Pattern Recognition (2020)

Attention中Q、K、V的概念

以商品搜索为例
Query：搜索引擎上输入的内容，例如商品名称
Key：搜索引擎根据Query为你匹配Key，例如商品的种类，颜色，描述
Value：搜索引擎根据Query和Key的相似度得到匹配的内容

Attention的计算过程

参考链接：https://jalammar.github.io/illustrated-transformer

  1. 将输入单词转化成嵌入向量；
  2. 嵌入向量通过全连接层，得到q、k、v三个向量；
  3. 为每个向量计算一个score：score=k*v attention
  4. 为保持梯度稳定，score除以 (d_k为q, k, v的向量维度)
  5. 对score施以softmax激活函数；
    softmax分数决定每个单词对编码当下位置（“Thinking”）的贡献
  6. softmax(score)点乘v，得到加权v向量
  7. v相加之后得到最终的输出结果z
    在这里插入图片描述在这里插入图片描述

swin-transformer 与VIT的区别

在这里插入图片描述
vit：

  1. 使用低分辨率的输入
    计算复杂度与图像大小是二次函数关系
  2. 全局自注意力计算
  3. 特征图大小固定

将图像划分成16x16的patch，每一层的transformer得到的特征图都是16倍下采样的大小, 没有多尺寸特征，感受野相同；
可以通过全局的自注意力机制达到全局的建模能力，但是对多尺寸特征的提取能力弱，不利于目标检测、分割等下游任务，检测分割时只能从bottleneck上提取特征，无法从主干提取浅层特征；
自注意力始终在整图上进行，计算复杂度是图像尺寸的平方，无法使用大分辨率的图像；

swin-transformer:

  1. 使用任意尺度的输入
    计算复杂度与图像大小是线性关系
  2. 在小窗口内计算自注意力
  3. 特征图大小递减

在小窗口内计算自注意力，而不是在整图上计算自注意力，当窗口大小固定，自注意力的复杂度就固定，整图的计算复杂度与图像尺度呈线性增长关系，利用了图像的局部性的先验知识；
局部性：同一个物体不不同部位，或语义相近的不同物体，大概率会出现在相邻的地方，所以对视觉任务来说，在小窗口内计算自注意力是合理的，在全局计算会造成计算的浪费；

swin-transformer整体架构

在这里插入图片描述
Stage1

  1. Patch Partition: 图像分块 patch size=4x4 443=48 2242243->565648
  2. Linear Embeding: 将图像patch映射成目标维度C 565648->565696
  3. swin-transformer block: 自注意力计算

Stage2

  1. patch merging: Pixel Shuffle的逆操作，将patch块合并，特征图大小减半，通道数翻倍，增大感受野，形成特征金字塔
  2. swin-transformer block: 自注意力计算

Stage3与Stage4重复Stage2，仅是swin-transformer block数量不同

Patch Merging

在这里插入图片描述
Pixel Shuffle的逆操作
将patch块合并，特征图大小减半，通道数翻倍
起到类似pooling层的作用，增大感受野，形成特征金字塔

有利于检测、分割等下游视觉任务

Swin-transformer Block

在这里插入图片描述在这里插入图片描述
Swin Transformer结构中，

  1. 在网络第l层，采用规则的窗口划分图像，并在每个窗口内计算自注意力
  2. 在第l+1层中，窗口分区移位，产生新窗口
    新窗口中的自注意力计算跨越了第l层中窗口的边界，提供了它们之间的联系，增强全局建模能力

Swin-transformer中的掩码机制

在这里插入图片描述
shifted-window存在的问题：

  1. shift之后窗口的数量增加
  2. 新增窗口大小不一致，无法进行批运算

常规解决方案：
将小窗口padding后进行批运算，但是会造成计算资源的巨大浪费

Swin-transformer解决方案：掩码机制

  1. 按照新窗口的划分切割特征图
  2. 特征图循环移位拼接，新窗口的大小相同(AB、AC等之间语义不同，不应该进行自注意力)
  3. 掩码机制计算：先将特征图拉长，在与转置之后的向量相乘，得到自注意力矩阵，mask矩阵内自注意力部分为赋值为0，非自注意力部分赋值为很大的负数，mask矩阵与自注意力矩阵相加
  4. 将计算完自注意力的特征图逆循环位移，还原原特征图位置
    在这里插入图片描述

优点：没有增加额外的窗口数量，只需要一次计算就可以得到自注意力矩阵，提高了shifted-window的批计算效率；

自注意力的复杂度计算

在这里插入图片描述
普通多头自注意力：
在这里插入图片描述
基于窗口的多头自注意力：
在这里插入图片描述
计算复杂度由图像大小的二次函数变为了图像大小的一次函数

Swin-Transformer的详细架构

在这里插入图片描述
不同参数量的Swin-Transformer仅是stage3的swin-block

效果比较

ImageNet数据集

Swin相较于ViT有较大的提升，单仅与EffNet相差不多
提升数据集规模，ViT与Swin都有较大提升

Swin-transformer在分类上提升不多，但在检测与分割等下游任务上有巨大提升。
在这里插入图片描述

COCO数据集

不同算法框架下，Swin与CNN的比较
在这里插入图片描述
结论：Swin可以当作通用的骨干网络使用

相同同算法框架下，Swin与不同骨干网络的比较
在这里插入图片描述
结论：相似参数量下，Swin的性能更好

极致性能的比较(各种方法都用上)
在这里插入图片描述
结论：Swin-L的性能最优

语义分割数据集ADE20K

各种方法都用上后的极致性能的比较
在这里插入图片描述
结论：Swin-L的性能最优(UperNet框架)

xungeer29
关注
  • 5
    点赞
  • 踩
  • 25
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Swin-Transformer+gradcam可视化代码+Windows环境.zip
01-18
Swin-Transformer+gradcam可视化代码+Windows环境
Swin-Transformer听课笔记
记录
11-15 1232
Swin-Transformer是微软亚洲研究院发表于ICCV 2021的一篇论文，并获得了当年的最佳论文。对比 ViT，Swin-Transformer大大降低了计算量，提供了更加通用的基于Transformer的计算机视觉任务的主干网络，并且能应用到分类、检测、分割等多种计算机视觉任务中。
Swin-Transformer 详解
欢乐的小树的博客
05-24 7693
用动画深入解释Swin-Transformer
Swin Transformer文章解读
最新发布
weixin_43238909的博客
03-09 905
从语言转换为视觉的挑战源于两个领域之间的差异，例如视觉实体的规模变化很大，图像中的像素与文本中的单词相比分辨率很高。偏移的窗口桥接了前一层的窗口，提供了它们之间的连接，显著增强了建模能力。在这种移位后，批窗口可由特征图中不相邻的子窗口组成，因此，使用屏蔽机制将自注意计算限制在每个子窗口内。所示，移位窗口桥接了前一层的窗口，提供二者之间的连接，显著增强建模能力。）时是线性的，全局自注意计算对于大型硬件来说通常还是负担不起的，而基于窗口的自注意是可扩展的。经过循环移位的方法，一个窗口可包含来自不同窗口的内容。
神经网络学习笔记5——Swin-Transformer网络
qq_45848817的博客
10-21 7847
Swim Transformer是特为视觉领域设计的一种分层Transformer结构。Swin 的两大特性是滑动窗口和分层表示。滑动窗口在局部不重叠的窗口中计算自注意力，并允许跨窗口连接。分层结构允许模型适配不同尺度的图片，并且计算复杂度与图像大小呈线性关系，也因此被人成为披着transformer皮的CNN。
Swin Transformer详解: Hierarchical Vision Transformer using Shifted Windows
qq_45122568的博客
05-16 8937
这篇文章使用和CNN类似的分层提取特征，来达到扩大感受野的效果。是一个特征提取的主干网络，backbone。分层特征提取，不断减小“feature map”的大小（token的数量）。关键部分是Shift window移动窗口（W-MSA、SW-MSA）ViT中使用不重叠的窗口，但是忽略了相邻窗口间的相关性，而Swin-T使用shfit windown移动（M/2）来弥补。但这样会引入很大的计算量，那么作者又提出了cyclic-shift 循环位移，保证计算量不变，但是这样的移动会使得相邻窗口间不相关的部.
Swin-transformer详解
一璐有你的专栏
03-20 6927
这篇论文提出了一个新的 Vision Transformer 叫做 Swin Transformer，它可以被用来作为一个计算机视觉领域一个通用的骨干网络.但是直接把Transformer从 NLP 用到 Vision 是有一些挑战的，这个挑战主要来自于两个方面一个就是尺度上的问题。因为比如说现在有一张街景的图片，里面有很多车和行人，里面的物体都大大小小，那这时候代表同样一个语义的词，比如说行人或者汽车就有非常不同的尺寸，这种现象在 NLP 中就没有。
swin transformer 在目标检测任务中的优势1000字分点说明
weixin_42610671的博客
02-19 592
Swin Transformer 在目标检测任务中的优势1000字分点说明:1、Swin Transformer 可以更好地应用于物体检测任务，因为它可以在一次计算中处理更多的输入数据和更多的参数，从而减少计算成本和提高准确性。2、Swin Transformer 可以更好地处理较大的图像和较多的物体，因为它可以计算出更复杂的特征，而不受模型大小的限制。3、Swin Transformer 的结构...
[论文阅读笔记11]Swin-Transformer
wjpwjpwjp0831的博客
04-05 3638
0. 前言 Swin Transformer, 即Shift Window Transformer, 它旨在让Transformer结构跟CNN一样, 也可以作为骨干网络在各种计算机视觉任务中来使用, 以及解决ViT计算复杂度高的问题. 具体地, 在CNN网络中, 大多都是层级结构. 比如说, 每一层都让高宽减半, 通道数增加. 这样在每一层都具有不同的感受野, 进而获得不同尺度的语义信息. 那么Transformer结构可不可以也这么做呢? Swin-Transformer就是这样一个工作. 1. Swi
【深度学习】详解 Swin Transformer (SwinT)
热门推荐
闻韶
09-16 6万+
【深度学习】详解 Swin Transformer (SwinT)
【论文阅读】Swin transformer解读
毛毛的博客
07-16 3762
文章目录前言Abstract1. Introduction2. Related Work3. Method3.1 Overall Architecture3.2 Shifted Window based Self-Attention3.3 Architecture Variants4. 结果4.1 KITTI上的BEV目标检测5. 总结 前言 1. 为什么要做这个研究？ 2. 实验方法是什么样的？ 3. 得到了什么结果？ Abstract Swin Transformer可以作为计算机视觉的通用主干。将
Swin Transformer详解
m0_74982304的博客
04-11 3628
Vit出现后虽然让大家看到了Transformer在视觉领域的潜力，但并不确定Transformer可以做掉所有视觉任务。Swin Transformer可以作为一个通用的骨干网络。面对的挑战：1、多尺度。2、高像素。移动窗口提高效率，并通过Shifted操作变相达到全局建模能力。层次结构：灵活，可以提供各个尺度特征信息，容易使用到下游任务中。最后分层设计和移位窗口方法也被证明对所有mlp体系结构都是有益的。
Swin-Unet-Transformer网络-用于语义分割-二分类
03-21
1.增加了数据加载部分，二分类loss 2.必要的中文注释 3.附带了自己的数据集 4.有问题随时联系
Swin-Transformer.zip
12-06
Swin-Transformer图像分类实战，详见文章：https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/121744503?spm=1001.2014.3001.5501
Swin-Transformer
08-20
Swin-Transformer是2021年微软研究院发表在ICCV上的一篇文章，并且已经获得ICCV 2021 best paper的荣誉称号。虽然Vision Transformer (ViT)在图像分类方面的结果令人鼓舞，但是由于其低分辨率特性映射和复杂度随图像...
Swin-Transformer（code and 论文）.zip
12-29
关于Swin-Transformer的代表性论文和对应的源代码。
LightCNN: 用于数据清洗的网络
xungeer29 的博客
03-08 3046
A Light CNN for Deep Face Representation with Noisy Labels 最近的工作需要对CELEB-500K的人脸ID数据进行清洗，原论文中先使用Celeb-Face数据集训练预模型，在这里我们选用了 LightCNN 作为训练网络。 LightCNN github 论文精读 文章中提出了一种 Light CNN架构的卷积神经网络，适用于有大量噪声的...
Focal Loss
xungeer29 的博客
05-08 2866
pytoch 实现 # From bestfittinig # https://www.kaggle.com/c/human-protein-atlas-image-classification/discussion/78109 class FocalLoss(nn.Module): def __init__(self, gamma=2): super().__init__...
Swin - Transformer
08-31
Swin-Transformer是一种基于Transformer架构的图像分类模型，由香港中文大学和商汤科技共同开发。它在2021年提出，并在图像分类任务上取得了很好的效果。 Swin-Transformer采用了分层的Transformer结构，其中每个Transformer层由两个子层组成：局部子层和全局子层。局部子层是一个标准的Transformer模块，用于捕捉局部特征；而全局子层则用于建模全局特征，它通过将特征图划分为不同的区域，并进行多次分块、交互和重组操作来实现。 Swin-Transformer通过引入窗口机制来解决计算和内存开销的问题。具体来说，它将输入特征图划分为一系列大小固定的非重叠窗口，并将每个窗口视为一个独立的图像块进行处理。这种窗口化的策略使得Swin-Transformer能够高效地处理大尺寸的输入图像。 在大量的图像分类任务中，Swin-Transformer表现出了与其他最先进模型相媲美甚至超越的性能。它在提供更高的准确性的同时，也保持了较低的计算和内存开销，因此被广泛应用于图像分类和其他计算机视觉任务中。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值