深度学习——Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

最新推荐文章于 2023-08-07 15:09:06 发布
最新推荐文章于 2023-08-07 15:09:06 发布
阅读量1k 收藏 9
点赞数
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dhaiuda/article/details/116189250
版权

文章目录

前言

Swin Transformer是微软研究院于2021年3月推出的Transformer模型，用于处理CV中的任务，例如图像分类、图像分割、语义分割等等，该模型的性能非常惊人，其结果如下：

  • ImageNet-1k上，预训练准确率可达86.4%
  • COCO目标检测数据集上，box AP可达58.7%，比sota高出2.7%，mAP可达51.1，比sota高出2.6%
  • ADE20K语义分割数据集上，mIOU可达53.5%，比sota高出3.2%

目前代码已经开源：https://github.com/microsoft/Swin-Transformer

Swin Transformer的结构

在这里插入图片描述
输入图像首先切成一个一个互不相交的patch，这些patch reshape为vector，经过一个全连接层的处理，得到一系列的token，输入数据的处理和ViT基本是近似，感兴趣的读者可以阅读我之前总结的ViT

Swin Transformer有两处与ViT不同

  • 存在两种类型的self attention，分别为W-MSA、SW-MSA，如上图右边所示
  • Transformer block之间引入了Patch Merging

motivation

ViT中self attention的计算量非常大，而W-MSA、SW-MSA可以降低模型的计算量

图像中目标的尺度大小不是固定的，并且变化很大，目前的ViT，所有的token，对应到原图中的尺度是一样大的，这导致ViT不适用于某些任务，例如目标检测，目标检测通常会将CNN不同层的feature map提取出来使用，因为不同层的feature map的scale不同，可以观察到的物体也将不一致，例如小的scale，更容易观察到图像中的小物体，大的scale，更容易观察到大物体，由于ViT中每个token的scale都一致，可以观察到的物体大小也基本一致，而Patch Merging使得ViT不同层的token的scale变得不同

下面将详细介绍这两种方法，为了叙述方便，设一张图片的长为H，宽为W，下文将不再介绍H、W的含义

Patch Merging

Patch Merging就是将相邻patch的token进行合并，具体而言，Swin Transformer的单个patch大小为4*4*3=48（reshape过后），设一个patch经过Linear Embedding后的维度为C，Patch Merging会将“相邻”的4个token进行合并，此处的“相邻”是指空间范围的相邻，合并后单个token的维度为4C，接着经过一个线性层处理，维度变为2C，Patch Merging的过程如下所示
在这里插入图片描述

Swin Transformer的输入数据大小为KaTeX parse error: Undefined control sequence: \* at position 12: \frac{H}{4}\̲*̲\frac{W}{4}*C，经过第一次Patch Merging的处理，数据大小变为KaTeX parse error: Undefined control sequence: \* at position 12: \frac{H}{8}\̲*̲\frac{W}{8}*2C，经过第二次Patch Merging的处理，数据大小变为KaTeX parse error: Undefined control sequence: \* at position 13: \frac{H}{16}\̲*̲\frac{W}{16}*4C，经过第三次Patch Merging的处理，数据大小变为KaTeX parse error: Undefined control sequence: \* at position 13: \frac{H}{32}\̲*̲\frac{W}{32}*8C，按照此规律以此类推

W-MSA、SW-MSA

Swin Transformer将Transformer block中的Multi head attention替换成了W-MSA和SW-MSA，交替使用两者，例如第一个Transformer block使用W-MSA，第二个Transformer block使用SW-MSA
在这里插入图片描述
上图中，左边是W-MSA，右边是SW-MSA，灰色矩形表示patch，红色矩形表示window，同处一个window的patch之间会进行self attention操作，传统的self attention操作时针对所有patch进行，swin Transformer将其变为一个window内进行，势必会降低计算量。

W-MSA中，一个window含有4x4=16个个patch，SW-MSA中，将W-MSA中的window大小缩小为 1 4 \frac{1}{4} 41​，一个window含有4/2 x 4/2=4个patch，相邻的window进行合并为一个大的window。self attention在一个window内部进行

Experiment

实验部分有很多有意思的部分，ViT通常需要预训练，但是Swin Transformer直接给出了随机初始化训练的结果，在ImageNet-1K上的结果如下：
在这里插入图片描述
相比于ViT，Swin Transformer的计算量得到显著下降，并且性能上得到了一定提升，和sota的CNN性能基本一致，但计算量开销稍微大些

菜到怀疑人生
关注
  • 0
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Swin Transformer实战：timm中的 Swin Transformer实现图像分类（多GPU）。
02-22
本例提取了植物幼苗数据集中的部分数据做数据集，数据集共有12种类别，演示如何使用timm版本的Swin Transformer图像分类模型实现分类任务已经对验证集得分的统计，本文实现了多个GPU并行训练。 通过本文你和学到： ...
2021-Swin Transformer
wujing1_1的博客
05-19 1818
Swin Transformer 论文地址:https://arxiv.org/abs/2103.14030 代码地址:https://github.com/microsoft/Swin-Transformer https://www.bilibili.com/video/BV13L4y1475U 感谢沐神,朱毅，感谢霹雳大佬！！！！ 1. 简介 1.1 简介 Swin Transformer是2021年微软研究院发表在ICCV上的一篇文章，并且已经获得ICCV 2021 best paper的荣誉称号
Swin Transformer：Hierarchical Vision Transformer using Shifted Windows （论文阅读笔记）
weixin_40671425的博客
12-25 3937
swin transformer 是微软亚研院胡瀚老师与2021年提出，发表在ICCV上并获得best paper 和马尔奖。是基于transformer的backbone网络，屠榜各大视觉任务。 论文链接：https://arxiv.org/abs/2103.14030 代码链接：https://github.com/microsoft/Swin-Transformer 摘要 本文介绍了一种称为 Swin Transformer 的新视觉 Transformer，它可以作为计算机视觉的...
深度学习网络模型————Swin-Transformer详细讲解与代码实现
guoqingru0311的博客
02-10 8856
经典网络模型系列——Swin-Transformer详细讲解与代码实现
PyTorch深度学习（26）网络结构Swin-Transformer
JYliangliang的博客
04-07 2682
内容
Swin Transformer（W-MSA详解）代码+图解
MOL
07-13 3万+
2. Window & Shifted Window based Self-Attention Swin Transformer另一个重要的改进就是window-based的self-attention layer，之前提到过，ViT的一个缺点是计算复杂度是和patch数量成平方关系的，为了减少计算量，Swin的做法是将输入图片划分成不重合的windows，然后在不同的window内进行self-attention计算。假设一个图片有的patches，每个window包含MxM个patches..
Swin Transformer 实现图像分类
05-29
Swin Transformer 是一种基于Transformer架构的深度学习模型，由Pengchao Zhang等人在2021年提出，主要用于计算机视觉任务，如图像分类、目标检测和语义分割。相较于传统的卷积神经网络（CNN），Swin Transformer ...
Swin Transformer v2实战：使用Swin Transformer v2实现图像分类
10-12
Swin Transformer v2解决了大型视觉模型训练和应用中的三个主要问题，包括训练不稳定性、预训练和微调之间的分辨率差距以及对标记数据的渴望。 最新更改： 重新适配了timm，并将更换了huggingface的国内链接。 链接...
Swin transformer
最新发布
10-30
知识点一：Hierarchical Vision Transformer Swin Transformer 的主要贡献是引入了 Hierarchical Vision Transformer 结构，该结构可以在不同尺度下进行建模，并且与广泛的视觉任务兼容。该结构包括 Patch Partition...
【深度学习】详解 Swin Transformer (SwinT)
热门推荐
闻韶
09-16 8万+
【深度学习】详解 Swin Transformer (SwinT)
swin transformer解读
qq_41111734的博客
05-02 3万+
Swin Transformer: Hierarchical Vision Transformer using Shifted Windows --论文解读 论文信息、概要 Swin transformer是微软今年三月25日公布的一篇利用transformer架构处理计算机视觉任务的论文。源码仅仅公布两天就在github上收获了2.2k个stars。它是我个人认为迄今为止用tranformer架构处理计算机视觉任务最有实用价值的一篇文章，在图像分割，目标检测各个领域已经霸榜，让很多人看到了transfor
Swin Transformer
weixin_43981952的博客
12-27 3038
目录引言整体架构Patch MergingW-MSA结构MSA的计算量W-MSA计算量SW-MSA结构Relative Position Bias（相对位置偏置） 讲解非常透彻一篇swin transformer博客 引言 目前Transformer引入到图像领域所面临的的主要挑战是： 视觉实体变化大，在不同场景下视觉Transformer性能未必很好 图像分辨率高，像素点多，Transformer基于全局自注意力的计算导致计算量较大 Swin Transformer 就是为了解决这两个问题所提出的一种
计算机视觉算法——Vision Transformer / Swin Transformer
weixin_44580210的博客
04-05 1万+
9. Transformer Transformer来源于2017年的一篇论文《Attention Is All You Need》，Transformer的提出最开始是针对NLP领域的，在此之前，NLP领域里使用的主要是RNN、LSTM这样一些网络，这些网络都存在一些问题，一方面是记忆长度有限，另一方面是无法并行，而Transeformer理论上记忆长度是无限长的，并且可以做到并行化。 9.1 网络结构 9.2 关键知识点 9.2.1 Self-Attention Self-Attention是Trans
Vision Transformer和Swin Transformer梳理
weixin_43329973的博客
08-18 544
注重理解，学习基本的Transformer算法
第6周学习：Vision Transformer &amp； Swin Transformer
weixin_45351699的博客
08-19 1287
Vision Transformer & Swin Transformer
Swin Transformer: Hierarchical Vision Transformer using Shifted Windows 论文翻译 + 网络详解
like_jmo的博客
08-23 2912
Swin Transformer swin 最主要的贡献就是可以作为通用的计算机视觉任务的主干网络（Transformer 只是证明了在分类问题上有效），另外可以大致对于 swin 有一个了解：移位窗口，分层架构，窗口间允许跨窗口连接，从而导致模型复杂度小。
《Swin Transformer Hierarchical Vision Transformer using Shifted Windows》论文超详细解读（翻译＋精读）
路人贾的博客
08-07 4314
《Swin Transformer Hierarchical Vision Transformer using Shifted Windows》论文超详细解读（翻译＋精读）
mmclassification中学习率优化参数整理
tjnkyqcy的博客
11-26 1869
mmlab中学习率优化参数整理
Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
05-10
Swin Transformer is a type of hierarchical vision transformer that uses shifted windows to improve the efficiency of processing images. The traditional vision transformer processes images by dividing ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值