(2021.06, iccv) Swin Transformer Hierarchical Vision Transformer using Shifted Windows

最新推荐文章于 2024-09-30 23:54:43 发布
最新推荐文章于 2024-09-30 23:54:43 发布
阅读量172 收藏
点赞数
分类专栏： 感知 文章标签： transformer 深度学习 人工智能 计算机视觉 Powered by 金山文档
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chaoqinyou/article/details/129132819
版权
Swin-Transformer是一种创新的Transformer模型，它通过在局部窗口内进行注意力操作实现了线性复杂度，并通过移位窗口增强模型表达力。该模型在分类、分割和2D目标检测等任务上表现出色，且速度较快。引入的局部性和相对位置偏置显著提高了性能，同时，通过消融实验验证了设计的有效性。
摘要由CSDN通过智能技术生成

code: https://github.com/microsoft/Swin-Transformer

一、创新点

  1. 引入局部性，在local window里面做attention，把计算量和图片的尺寸限制到线性；merge patch，在深层获得全局性

  1. shift window, 连接不同的local window，提高模型的表达能力；

  1. 在分类，分割，2D框检测等任务上都是SOAT，而且很快

二、精度和速度

相近计算量下，在分类，2D目标检测和语义分割任务上都有明显长点，貌似2D目标检测长点最明显；

另一个感觉是，swin因为引入了局部性，ImageNet也能训练出来；

三、实现

W-MSA: 限制在窗口内的多头注意力机制

SW-MSA：移动窗口后的限制在窗口内的多头注意力机制

relative position bias 如下，通过消融实验可以看到涨点明显。

话说右图的那篇文章和写这篇Swin Transformer的基本上是一批人，所以传承很重要啊。

四、消融实验

五、重要参考文献

Training data-efficient image transformers & distillation through attention

Local Relation Networks for Image Recognition

chaoqinyou
关注
专栏目录
超分算法HIPA: Hierarchical Patch Transformer for Single Image Super Resolution
qq_45122568的博客
05-19 1800
HIPA: Hierarchical Patch Transformer for Single Image Super Resolution[2022]Abstract1 Introduction2 Method3 Experiments4 Conclusion Abstract 基于变压器的架构开始出现在单图像超分辨率（SISR）中，并取得了良好的性能。大多数现有的视觉变换器将图像分割成相同数量的固定大小的面片，这对于恢复纹理丰富程度不同的面片可能不是最佳选择。本文介绍了一种新的变压器结构HIPA，它使.
HIPA: Hierarchical Patch Transformer for Single Image Super Resolution解读
qq_45807669的博客
04-13 2777
@[TOC] 解读2022年新作：HIPA: Hierarchical Patch Transformer for Single Image Super Resolution，效果超过SwinIR 提出背景 现在很多paper开始将Transformer用在SISR中，并且也取得了还算满意的效果。但是，由于大部分的视觉Transformer都是将图像划分成相同数量的、固定尺寸的patch，这就导致了在处理具有不同丰富度的纹理细节时，不能取得最优的效果。所以本文应运而生了HIPA，它是全新的Transfo
13、Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
小白的博客
02-24 809
Swin Transformer
【ICCV21】Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
猛码Memmat
03-12 1081
iccv21：swin transformer
Swin Transformer: Hierarchical Vision Transformer using Shifted Windows（ICCV2021）
sanguine__的博客
02-20 1198
本文提出了一种新的视觉Transform，称为Swin Transform，它可以作为计算机视觉的通用骨干。将Transformer从语言应用到视觉的挑战来自于这两个领域之间的差异，例如视觉实体规模的巨大差异以及与文本中的单词相比，图像中像素的高分辨率。为了解决这些差异，我们提出了一个分层的Transformer，它的表示是用移位窗口计算的。移位窗口方案将自注意计算限制在不重叠的局部窗口，同时允许跨窗口连接，从而提高了效率。这种层次结构具有在各种尺度上建模的灵活性，并且相对于图像大小具有线性计算复杂度。
一篇搞懂swin-transformer：Hierarchical Vision Transformer using Shifted Windows
m0_47588836的博客
05-03 2814
Swin Transformer是一种新的视觉Transformer ，它产生层次特征表示，并且对输入图像大小具有线性计算复杂度。Swin Transformer在COCO对象检测和ADE20K语义分割方面实现了最先进的性能，大大超过了以前的最佳方法。我们希望Swin Transformer在各种视觉问题上的强大表现将鼓励视觉和语言信号的统一建模。
[ICCV2021]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
wrk226的博客
10-13 543
动机 现在在CV中使用transformer的最大问题是运算量太大，因为图片的信息量远远大过NLP中文本的信息量，然后再做self attention会导致N平方的复杂度，这是不可以接受的，因此如何减少运算量是很重要的。而这篇文章就是提出了一个线性计算量的transformer结构 方法 之前的ViT考虑的是直接将一个图片分割，然后每个小块做embedding取到局部特征(？)，然后再对所有分割的...
Swin Transformer Hierarchical Vision Transformer using Shifted Windows论文解读
qq_45041871的博客
01-12 918
本文提出了一种新的Vision Transformer，称为Swin Transformer，它能够作为计算机视觉的通用骨干网络。将Transformer从语言转化为视觉的挑战来自于两个领域之间的差异，例如视觉实体规模的巨大变化，以及与文本中的单词相比，图像中的像素分辨率较高。为了解决这些差异，我们提出了一个分层(hierarchical)Transformer，它的表示是用移位窗口(shifted windows)计算的。Swin Transformer在计算机视觉领域均刷新了各类任务的SOTA。
Swin Transformer：Hierarchical Vision Transformer using Shifted Windows （论文阅读笔记）
weixin_40671425的博客
12-25 3983
swin transformer 是微软亚研院胡瀚老师与2021年提出，发表在ICCV上并获得best paper 和马尔奖。是基于transformer的backbone网络，屠榜各大视觉任务。 论文链接：https://arxiv.org/abs/2103.14030 代码链接：https://github.com/microsoft/Swin-Transformer 摘要 本文介绍了一种称为 Swin Transformer 的新视觉 Transformer，它可以作为计算机视觉的...
Swin Transformer详解: Hierarchical Vision Transformer using Shifted Windows
qq_45122568的博客
05-16 9940
这篇文章使用和CNN类似的分层提取特征，来达到扩大感受野的效果。是一个特征提取的主干网络，backbone。分层特征提取，不断减小“feature map”的大小（token的数量）。关键部分是Shift window移动窗口（W-MSA、SW-MSA）ViT中使用不重叠的窗口，但是忽略了相邻窗口间的相关性，而Swin-T使用shfit windown移动（M/2）来弥补。但这样会引入很大的计算量，那么作者又提出了cyclic-shift 循环位移，保证计算量不变，但是这样的移动会使得相邻窗口间不相关的部.
【深度学习】论文阅读：（ICCV-2021））Swin Transformer
zhe470719的博客
03-17 7317
这里写目录标题论文详情VIT缺点改进点核心思想整体结构名称解释 Window、Patch、Token与vit区别结构过程Patch EmbeddingBasicLayerPatch MergingSwin Transform Block==Window Attention==Shifted Window Attention总结 论文详情 名称：Swin Transformer: Hierarchical Vision Transformer using Shifted Windows 地址：原论文 代码：
Swin Transformer 结构&代码解析学习
lym823556031的博客
11-16 1699
详解Swin Transformer结构及代码
Swin Transformer原理与代码实例讲解
AI天才研究院
07-14 732
Swin Transformer原理与代码实例讲解 1. 背景介绍 1.1 问题的由来 在深度学习时代，卷积神经网络（CNN）因其在网络视觉识别任务上的卓越表现而备受推崇。然而，随着模型向更深、更大规模发展，计算成本也随之增加
对比学习训练是如何进行的
qq_45809323的博客
09-25 594
对比学习（Contrastive Learning）是一种自监督学习的方法，旨在通过拉近相似样本的表示、拉远不相似样本的表示来学习特征表示。在训练过程中，模型并不依赖标签，而是通过样本之间的相似性进行学习。
卷积神经网络（CNN）的计算量和参数怎么准确估计？
最新发布
叶庭云 成为自己的光
09-30 881
卷积神经网络（CNN）的计算量和参数怎么准确估计？
深度学习：迁移学习
纸上得来终觉浅
09-27 1139
迁移学习
从0开始深度学习（6）——Pytorch动态图机制（前向传播、反向传播）
立志成为炼丹师？
09-27 1091
PyTorch 的动态计算图机制是其核心特性之一，它使得深度学习模型的开发更加灵活和高效。
深度学习常见术语介绍
Tunny_one
09-28 441
深度学习常见术语介绍
深度学习的核心特点：全面解析
2301_80744520的博客
09-28 610
近年来，成为了人工智能领域的核心推动力量，它的成功不仅仅是算法的创新，还包括方法论和实践模式的巨大转变。本文将深入分析深度学习的核心特点，并揭示它为何在多个领域中取得了突破性的进展。
还有哪些2021年发表的vision transformer 加速器的文献
03-30
以下是一些2021年发表的vision transformer 加速器的文献： 1. "Fastformer: Additive Attention Can Be All You Need" by Xiangming Meng, Xiaodong Liu, and Jingdong Wang (ICCV 2021) 2. "ViT-Cache: Efficient Vision Transformer Inference with On-Chip Memory" by Shijie Zhang, Qihang Yu, Xinyu Zhang, and Wen-mei Hwu (ICLR 2021) 3. "ViT-Attention: A Flexible and Efficient Accelerator for Vision Transformers" by Jiajun Pan, Weijian Zhang, and Wei Wen (ICLR 2021) 4. "ViT-AMP: Efficient Acceleration of Vision Transformers via Approximate Memory Processing" by Jiajun Pan, Weijian Zhang, and Wei Wen (CVPR 2021) 5. "ViT-PE: A Flexible and Efficient Accelerator for Vision Transformers with Position Embeddings" by Jiajun Pan, Weijian Zhang, and Wei Wen (ACM/IEEE International Symposium on Computer Architecture 2021)
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值