Swin Transformer 笔记与理解

于 2024-05-17 15:52:53 发布
阅读量537 收藏 7
点赞数 5
分类专栏： 读博笔记 算法笔记 文章标签： transformer 深度学习 计算机视觉 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_52668444/article/details/138986651
版权

目录

解决什么问题

传统的transformer处理于长序列需要非常大的计算量，而且很慢。且传统的transformer虽然的全局信息的获取上有着很好的效果，但是在局部信息的获取上就没有那么强了。Swim transformer的主要的贡献就是使用分层和窗口的概念来为这个框架提供了一个类似CNN感受野的东西，不仅可以兼顾了transformer本身优秀的全局信息获取的能力，且通过窗口的设计也提供了局部信息的获取能力。

基本结构理解

主要的结构图如下（来自原文）
在这里插入图片描述
其主要的结构是S-MSA, SW-MSA，这个两个新的注意力机制。首先需要注意的是这两个注意力机制需要配合使用，单独使用的效果不佳。 首先从patch partition 开始，首先和传统的transformer一样将输入的数据打散成一个个小的patch。假设输入图像为（224，224，3), 将图像打散有16个patches的一组，每一个图片的大小就是（56，56，96）。这里只需要使用一个卷积核大小为4的2D卷积即可完成。因为打散图像是用的卷积，所以这里的96是指的特征通道数。将小patch像在传统transformer中一样展开变成（56x56，96）=（3136，96）。 和之前transf

最低0.47元/天 解锁文章
Transformer之Swin-Transformer结构解读
Soonki的博客
07-23 878
很多人说，Swin-Transformer就是另一种Convolution，但是解释得真就是一坨shit，这里我郑重解释一下，这是为什么？首先，Convolution是什么？Convolution是一种矩形区域内参数共享的Linear这么说可能不好理解，那么我们上代码上述代码通过了使用输入数据的维度变换，实现了利用nn.Linear来进行nn.Conv2d的过程，当然，nn.Conv1d甚至nn.Conv3d等也是同样操作。这里我们先记住，后面我们详细解释。
2024年最新Swin Transformer实战：使用 Swin Transformer实现图像分类。
2301_82243883的博客
05-02 2183
CUDA版本：11.22、创建虚拟环境swin。
Swin trasnformer 学习笔记
kleen_y的博客
04-08 1801
提示：Swin transformer 学习笔记，仅供学习记录，方便日后回顾，侵删 文章目录前言一、主要贡献1.如何抓住多尺度特征2. 滑动窗口和窗口自注意力二、网络主干1.模型整体架构2.怎样提高移动窗口的计算效率：采用masking（掩码）的方式计算自注意力3. 相对位置编码三、其他知识补充：1.Test time augmentation(TTA)2. 神经架构搜索(Neural Architecture Search,NAS)3. 归纳偏置（inductive bias） 前言 文章只供自己学.
常见的Transformer变体介绍
weixin_63670364的博客
08-24 4327
当谈到深度学习领域的重要里程碑时，Transformer模型无疑是一个不可忽视的巨大飞跃。最初由Vaswani等人于2017年提出，Transformer原本是为了处理自然语言处理任务而设计的，但其独特的架构和强大的能力很快吸引了其他领域的关注，其中之一就是视觉领域。Transformer模型之所以在视觉领域引起关注，部分原因在于其自注意力机制的独特设计。这种机制允许模型在处理序列数据时能够同时考虑不同位置之间的关系，无论是文本中的单词还是图像中的像素。
Swin-Transformer
陶将的博客
07-13 5878
本篇博文详细讲解ViT和Swim-Transformer
Swim-Transformer学习
naicha2的博客
04-06 983
看了这个博主的视频和文章整理的笔记。
Swin_transformer解读
weixin_41803339的博客
11-04 1291
1、序言 Swin Transformer一出，谁与争锋。在各个视觉任务领域屠榜，目标检测刷到58.7 AP，实例分割刷到51.1 Mask AP， 语义分割在ADE20K上刷到53.5 mIoU，都是目前第一。本文对Swin Transformer论文做一些解读分析。 2、论文 论文名称：《Swin Transformer: Hierarchical Vision Transformer using Shifted Windows》 下载链接：swin transformer 论文的主要贡献点： 1、通过
CVPR| 2021 Video Swin Transformer阅读笔记
weixin_59340037的博客
03-22 2441
Video Swin Transformer 阅读笔记 论文 代码 研究背景 在计算机视觉领域，模型正在从CNN 向Transformer转变，并且纯transformer架构在主要的视频识别方向获得了最高的精度，这些模型建立在能够在时间和空间维度上将patches全局连接起来的transformer层上。CNN向transformer的转变开始于vision transformer(ViT),它通过 transformer encoder对非重叠的图像快的空间关系进行全局建模，由于在图像上取得的巨大成功，
swin transformer 模块理解
m0_46498587的博客
01-12 4133
前言 【个人学习笔记记录，如有错误，请指正】 配置文件使用 swin_small_patch4_windows7_224.yaml 文件，batch_size = 4 # 一、Patch Embedding 【Patch embedding】其实就是将输入的 224 * 224 大小的图像，经过【卷积】和【LayerNorm】操作，将图像缩放为 56 *56 大小的特征图。然后将特征图reshape 为 （4, 3136, 96）形状，这里的 4 为【batch_size】，3136 = 56*56，.
Transformer（三）搞懂Swin Transformer
weixin_43570470的博客
04-01 4280
Swin Transformer: Hierarchical Vision Transformer using Shifted Windows学习笔记
神经网络学习笔记5——Swin-Transformer网络
qq_45848817的博客
10-21 1万+
Swim Transformer是特为视觉领域设计的一种分层Transformer结构。Swin 的两大特性是滑动窗口和分层表示。滑动窗口在局部不重叠的窗口中计算自注意力，并允许跨窗口连接。分层结构允许模型适配不同尺度的图片，并且计算复杂度与图像大小呈线性关系，也因此被人成为披着transformer皮的CNN。
Swin Transformer学习记录
最新发布
m0_73084262的博客
05-05 580
1.整体结构
（自用）Vision Transformer、Transformer、Swim Transformer
qq_44185614的博客
01-12 1807
vector进入到Masked Multi-Head Attetion，Masked的意思是，我们在做self-Attetion layer时，这个decoder只会attend到它已经产生出来的sequence上。Patch Merging操作将相邻的小块合并为更大的块，以便在后续层级中对更大的块进行处理。是一种操作，用于将图像的分块表示合并为更大的块。Add & Norm操作，Feed Forward，再是Add & Norm，Linear和softmax，得到最终的output。
精读Swin Transformer
qq_41106932的博客
03-09 1165
Swin Transformer:Hiaerarchical(层级式) VIsion Transformer using Shifted Windows(MSRA研究领域的黄埔军校) 选自8.17号的更新版本 摘要 swintransformer用来做计算机视觉领域一个通用的骨干网络,在Vit只做分类任务,下游任务比如检测与分割留给以后的人来探索时,当时大家并不能确定transformer能否把视觉领域所有的任务都做掉,那么swintransformer的动机告诉大家transformer没毛病...
Swin Transformer—— 基于Transformer的图像识别模型
知来者逆的博客
04-27 2343
Swin Transformer是微软研究院于2021年在ICCV上发表的一篇论文，因其在多个视觉任务中的出色表现而被评为当时的最佳论文。它引入了移动窗口的概念，提出了一种层级式的Vision Transformer，将Shifted Windows（移动窗口）作为其主要贡献。这个概念使得Swin Transformer可以像卷积神经网络一样进行分块，并进行层级式的特征提取，从而在特征表示中引入多尺度的概念。
Transformer详解
weixin_44867172的博客
10-19 4113
主要的序列转导模型是基于复杂的循环或卷积神经网络，包括一个编码器和一个解码器。Transformer则是放弃了递归和卷积，完全基于注意力机制。它的发展过程：Encoder-Decoder->Attention->Self-Attention->Transformer。下面对其进行逐步详细讲解。
基于pytorch的Swim Transformer代码实现与讲解
weixin_44422920的博客
03-11 1万+
Swim transformer是2021年ICCV的best paper。 论文题目：Swin Transformer: Hierarchical Vision Transformer using Shifted Windows（使用移动窗口的层级式的Vision transformer） 论文地址：https://arxiv.org/abs/2103.14030 动机： transformer从NLP用于CV任务中主要有两个挑战： 1、尺度问题。例如一张图像中包含很多车和行人，物体有大有小，而且代表同一
swin transformer详解
ydmyyh的博客
03-24 3万+
摘要 transformer应用到CV领域的挑战： 1、相对于文本，视觉实体的尺度区别很大，例如车辆和人 2、相对于文本，图像像素的分辨率太大 解决方法：使用层级式的transformer，使用移动窗口 好处： 1、通过限制在窗口内使用自注意力，带来了更高的效率 2、通过移动，使得相邻两个窗口之间有了交互，上下层之间也就有了跨窗口连接，从而变相达到了一种全局建模的效果 3、层级式的结构不仅非常灵活的去建模各个尺度的信息并且计算复杂度随着图像大小线性增长 结论： 因为有了像卷积神经网络一样的分层结构，有了多尺
swin transformer解读
热门推荐
qq_41111734的博客
05-02 3万+
Swin Transformer: Hierarchical Vision Transformer using Shifted Windows --论文解读 论文信息、概要 Swin transformer是微软今年三月25日公布的一篇利用transformer架构处理计算机视觉任务的论文。源码仅仅公布两天就在github上收获了2.2k个stars。它是我个人认为迄今为止用tranformer架构处理计算机视觉任务最有实用价值的一篇文章，在图像分割，目标检测各个领域已经霸榜，让很多人看到了transfor
swin transformer迁移学习
09-06
- *2* *3* [Swin Transformer 学习笔记](https://blog.csdn.net/qq_36936443/article/details/124296075)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值