李沐精读论文：Swin transformer: Hierarchical vision transformer using shifted windows

最新推荐文章于 2024-02-20 19:44:29 发布
VIP文章 最新推荐文章于 2024-02-20 19:44:29 发布
阅读量2.9k 收藏 15
点赞数 5
分类专栏： 李沐读论文 文章标签： transformer windows 深度学习 神经网络 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/iwill323/article/details/128410399
版权

论文地址：Swin transformer: Hierarchical vision transformer using shifted windows

代码：官方源码

pytorch实现

SwinTransformerAPI

视频：Swin Transformer论文精读【论文精读】_哔哩哔哩_bilibili

本文注意参考：Swin Transformer论文精读【论文精读】 - 哔哩哔哩       

图解Swin Transformer - 知乎

        

目录

题目和摘要

引言      

ViT在视觉领域应用面临的问题

W-MSA 特点和好处

移动窗口的操作

展望

结论

方法

前向过程

代码框架

Patch Embedding：切出patch并做Embedding

Patch Merging：把临近的小 patch合并成一个大 patch

划分出包含patch的窗口

Window Attention

代码

Relative Position Bias：相关位置编码       

前向代码

W-MSA计算复杂度

移动窗口

提高移动窗口的计算效率

掩码可视化

代码  

Transformer Block整体架构

Block的前向代码   

Swin Transformer的变体

实验

分类上的实验

目标检测

语义分割

消融实验

点评

        Swin Transformer是 ICCV 21的最佳论文，它之所以能有这么大的影响力主要是因为在 ViT 之后，Swin Transformer通过在一系列视觉任务上的强大表现，进一步证明了Transformer是可以在视觉领域取得广泛应用

题目和摘要

        Swin Transformer是一个用了移动窗口的层级式的Vision Transformer

  • Swin：来自于 Shifted Windows，Swin Transformer这篇论文的主要贡献
  • 层级式 Hierarchical： Swin Transformer像卷积神经网络一样，也能够分成几个 block，做层级式的特征提取，使得提出来的特征有多尺度

        这篇论文提出了一个新的 Vision Transformer 叫做 Swin Transformer，它可以被用来作为一个计算机视觉领域一个通用的骨干网络。

        直接把Transformer用到视觉领域有一些挑战，主要来自于两个方面：

  • 多尺度问题：比如一张图片里的代表同样一个语义的词（即物体）有非常不同的尺寸，NLP中没有这个问题。
  • 分辨率太大：如果将图片的每一个像素值当作一个token直接输入Transformer，计算量太大。之前的工作要么用后续的特征图来当做Transformer的输入，要么把图片打成 patch 减少这个图片的 resolution，要么把图片画成一个一个的小窗口，然后在窗口里面去做自注意力，所有的这些方法都是为了减少序列长度

        基于这两个挑战，本文提出了 hierarchical Transformer，通过一种叫做移动窗口的方式学习特征，即只在滑动窗口内部计算自注意力，所以称为W-MSA（Window Multi-Self-Attention）。

  • 通过Shiting（移动）的操作可以使相邻的两个窗口之间进行交互，也因此上下层之间有了cross-window connection，从而变相达到了全局建模的能力。
  • 分层结构使得模型可以提取各个尺度的特征信息
  • 计算复杂度与图像大小呈线性关系，这样模型就可以处理更大分辨率的图片（为作者后面提出的Swin V2铺平了道路）。
    • Vision Transformer：进行MSA（多头注意力）计算时，任何一个patch都要与其他所有的patch都进行attention计算，只要窗口大小是固定的，那么计算量与图片的大小成平方增长。
    • Swin Transformer：采用了W-MSA，只对window内部计算MSA，当图片大小增大时，计算量仅仅是呈线性增加。

        因为 Swin Transformer 拥有了像卷积神经网络一样分层的结构，能够提取出多尺度的特征，所以很容易使用到下游任务里。ImageNet-1K 上准确度达到87.3%；在 COCO mAP刷到58.7%（比之前最好的模型提高2.7）；在ADE上语义分割任务也刷到了53.5（提高了3.2个点 ）

        对于 MLP 的架构，用 shift window 的方法也能提升，见MLP Mixer 这篇论文

引言      

ViT在视觉领域应用面临的问题

  • ViT 处理的特征都是单一尺寸。ViT把
最低0.47元/天 解锁文章
iwill323
关注
  • 5
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
实战KAGGLE⽐赛：房价预测数据集+预测实现demo
09-19
实战KAGGLE⽐赛：房价预测： 作为深度学习基础篇章的总结，动⼿实战⼀个Kaggle⽐赛：房价预测。 本节将提供未经调优的数据的预处理、模型的设计和超参数的选择。 https://blog.csdn.net/yohnyang/article/details/126883147
精品--️李沐 【动手学深度学习】课程学习笔记：使用pycharm编程，基于pytorch框架实现。.zip
02-05
精品--️李沐 【动手学深度学习】课程学习笔记：使用pycharm编程，基于pytorch框架实现。
Transformer详解（李沐大神文字版，干货满满！）
qq_42068614的博客
03-09 4282
使用图和文字记录下了李沐大神的Transformer论文逐段精度视频，方便大家后续快速复习。
Swin Transformer: Hierarchical Vision Transformer using Shifted Windows（ICCV2021）
sanguine__的博客
02-20 1054
本文提出了一种新的视觉Transform，称为Swin Transform，它可以作为计算机视觉的通用骨干。将Transformer从语言应用到视觉的挑战来自于这两个领域之间的差异，例如视觉实体规模的巨大差异以及与文本中的单词相比，图像中像素的高分辨率。为了解决这些差异，我们提出了一个分层的Transformer，它的表示是用移位窗口计算的。移位窗口方案将自注意计算限制在不重叠的局部窗口，同时允许跨窗口连接，从而提高了效率。这种层次结构具有在各种尺度上建模的灵活性，并且相对于图像大小具有线性计算复杂度。
Kaggle:Kaggle的项目与课程
04-19
卡格勒 Kaggle的项目与课程
李沐 机器学习.txt
03-05
李沐的 视频教程哦。
李沐论文讲解笔记 之 Transformer
weixin_44733311的博客
11-28 1165
本人听课的时候，根据李沐老师讲的内容和顺序进行整理。需要可以参考。
Swin Transformer详解: Hierarchical Vision Transformer using Shifted Windows
qq_45122568的博客
05-16 9019
这篇文章使用和CNN类似的分层提取特征，来达到扩大感受野的效果。是一个特征提取的主干网络，backbone。分层特征提取，不断减小“feature map”的大小（token的数量）。关键部分是Shift window移动窗口（W-MSA、SW-MSA）ViT中使用不重叠的窗口，但是忽略了相邻窗口间的相关性，而Swin-T使用shfit windown移动（M/2）来弥补。但这样会引入很大的计算量，那么作者又提出了cyclic-shift 循环位移，保证计算量不变，但是这样的移动会使得相邻窗口间不相关的部.
Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
kking_edc的博客
01-21 4095
ViT将transformer从NLP领域应用到了视觉领域，但是它仅做了分类工作，Swin transformer的提出彻底将Transformer应用到了视觉领域的各个细分领域中，使得transformer成为了视觉领域的一个骨干网络。 摘要 这篇论文提出了一种新的视觉Transformer，称为Swin Transformer，它可以作为计算机视觉领域的一个通用骨干网络。将Transformer直接从NLP领域迁移到视觉领域存在两个挑战，一个是尺度问题，另外一个是图像像素过多（如果我们以像素为单位，那么
Swin Transformer论文精读【论文精读】
记录学习的小白
04-28 2457
Swin transformer: Hierarchical visiontransformerusing shifted windows Swin Transformer是 ICCV 21的最佳论文，它之所以能有这么大的影响力主要是因为在 ViT 之后，Swin Transformer通过在一系列视觉任务上的强大表现，进一步证明了Transformer是可以在视觉领域取得广泛应用的 Swin Transformer是3月份传到 arxiv上的，4月份代码库就放出来了，紧接着5月12...
Swin Transformer 论文精读——B站up：跟李沐学AI讲解笔记
Snakehj的博客
05-25 944
本文提出了一种新的 vision transformer，称为 Swin Transformer，它可以作为计算机视觉的通用骨干网。将Transformer 从语言应用到视觉的挑战来自于这两个领域之间的差异，例如视觉实体规模的巨大差异（在不同图片的同一个物体尺寸可能不同）以及与文本中的单词相比，图像中像素的高分辨率。为了解决这些差异，我们提出了一个 hierarchical Transformer，它的表示是用 shifted windows 计算的。
21年更新-李沐《动手学深度学习第二版》:讲义+数据+代码等
04-15
chapter_computer-vision chapter_conv olutional-neural-networks chapter_deep-l earning-basics chapter_deep-learning-com putation chapter_how-to-use chapter_intr oduction chapter_natural-language-proces...
李沐 【动手学深度学习】课程学习笔记：使用pycharm编程，基于pytorch框架实现。.zip
最新发布
05-09
李沐 【动手学深度学习】课程学习笔记：使用pycharm编程，基于pytorch框架实现。.zip
【读点论文】Swin Transformer: Hierarchical Vision Transformer using Shifted Windows通过窗口化进行局部MSA，sw-MSA融合信息
白水空空
09-21 905
本文提出了一种新的视觉transformer，称为Swin transformer，。将Transformer从语言转换为视觉的挑战来自于两个领域之间的差异，例如视觉实体的规模有很大的差异，以及图像中的像素与文本中的单词相比具有较高的分辨率。为了解决这些差异，本文提出了一个。移窗方案通过将自我注意计算限制在不重叠的局部窗口上，同时允许跨窗口连接，从而提高了效率。。
ICCV-2021-Swin-T: Swin Transformer: Hierarchical Vision Transformer using Shifted Windows 阅读笔记
菜菜子hoho的博客
04-21 922
目录一、Swin Transformer的整体架构及流程Swin变压器架构Stage 1Stage 2Stage 3Stage 4Swin Transformer block二、基于移动窗口的自我注意（Shifted Window based Self-Attention）非重叠窗口中的自我注意（Self-attention in non-overlapped windows）连续块中的移位窗口划分（Shifted window partitioning in successive blocks）移位配置的
论文学习笔记：Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
Matrix-11
06-03 1082
文章的作者在摘要一开始就说他们提出了一种新的 vision transformer，叫做 swin transformer，能够作为视觉任务的通用骨干网络。然后作者说将 transformer 从 NLP 领域迁移到视觉领域的时候，因为两个领域之间的诸多差异，所以面临很多的挑战。一个是分辨率上的差异所带来的，因为视觉一般需要处理的都是图像，图像的分辨率比起文本来说维度要高很多。
Swin Transformer论文阅读笔记
zhuzyibooooo的博客
08-10 288
这篇论文提出了一个新的 Vision Transformer 叫做 Swin Transformer，它可以被用来作为一个计算机视觉领域一个通用的骨干网络。但是直接把Transformer从 NLP 用到 Vision 是有一些挑战的，这个挑战主要来自于两个方面：一个就是尺度上的问题。因为比如说现在有一张街景的图片，里面有很多车和行人，里面的物体都大大小小，那这时候代表同样一个语义的词，比如说行人或者汽车就有非常不同的尺寸，这种现象在 NLP 中就没有。...
tensorflow js swin Transformer
09-03
很抱歉，我没有找到关于"tensorflow js swin Transformer"的具体信息。根据我了解的内容，Swin Transformer是一种基于注意力机制的深度学习模型，在计算机视觉领域中应用广泛。它在图像分类、目标检测和语义分割等任务中取得了优秀的性能。Swin Transformer使用的是创新的局部注意力机制和窗口化的特征提取方式，以有效处理大尺度图像。它在不同尺度上对图像进行层次化的建模，从而提高了模型的感知能力和效果。如果您有关于tensorflow js swin Transformer的具体问题，请提供更多的信息，我将尽力为您提供帮助。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [李沐论文精读系列一： ResNet、Transformer、GAN、BERT](https://blog.csdn.net/qq_56591814/article/details/127313216)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值