Swin—Transformer学习笔记

最新推荐文章于 2024-11-14 16:23:37 发布
最新推荐文章于 2024-11-14 16:23:37 发布
阅读量381 收藏
点赞数 3
分类专栏： 图像分类神经网络 文章标签： transformer 学习 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45971154/article/details/136757478
版权
本文介绍了网络框架中的关键技术，如PatchMerging（图像尺寸调整与通道扩展）、W-MSA（减少计算量但限制信息交互）、SW-MSA（引入信息交互以保持效率），以及Relativepositionbias在Attention机制中的应用。还详细讨论了模型配置参数的选择和设计。
摘要由CSDN通过智能技术生成

一、网络框架

二、Patch Merging

图像长和宽减半，通道数增加一倍

三、W-MSA

目的：减少计算量

缺点：窗口之间无法进行信息交互

四、SW-MSA

目的：实现不同window之间的信息交互

为了不增加计算量，移动window并增加Mask-MSA

计算完后将数据移动到原来位置

五、Relative position bias

bias才是Attention中B的数值，我们训练的是bias table中的参数

六、模型详细配置参数

CarmenHu
关注
专栏目录
2024年最新Swin Transformer实战：使用 Swin Transformer实现图像分类。
2301_82243883的博客
05-02 1879
CUDA版本：11.22、创建虚拟环境swin。
第6周学习笔记：Vision Transformer & Swin Transformer学习
usdkey的博客
08-19 587
该模型将Transformer结构直接应用到图像上，即将一张图像分割成多个patches，这些patches看作是NLP的tokens (words)，然后对每个patches做一系列linear embedding操作之后作为Transformer的input。
Swin Transformer之PatchMerging原理及源码
热门推荐
liuweizj12的博客
06-02 1万+
1.图示 2.原理Patch Merging层进行下采样。该模块的作用是做降采样，用于缩小分辨率，调整通道数 进而形成层次化的设计，同时也能节省一定运算量。在CNN中，则是在每个Stage开始前用stride=2的卷积/池化层来降低分辨率。patch Merging是一个类似于池化的操作，但是比Pooling操作复杂一些。池化会损失信息，patch Merging不会。每次降采样是两倍，因此在行方向和列方向上，按位置间隔2选取元素，拼成新的patch，再把所有patch都concat起来作为一整个张量，最后
神经网络学习笔记5——Swin-Transformer网络
qq_45848817的博客
10-21 1万+
Swim Transformer是特为视觉领域设计的一种分层Transformer结构。Swin 的两大特性是滑动窗口和分层表示。滑动窗口在局部不重叠的窗口中计算自注意力，并允许跨窗口连接。分层结构允许模型适配不同尺度的图片，并且计算复杂度与图像大小呈线性关系，也因此被人成为披着transformer皮的CNN。
狗都能看懂的Swin Transformer的讲解和代码实现
个人学习笔记
08-21 3696
狗都能看懂的Swin Transformer和代码复现
Swin-Transformer详解
damadashen的博客
06-06 2827
本文主要介绍了SwinTransformer的结构及其相关内容，SwinTransformer的设计借鉴了ViT对图像数据的处理方法，通过分层设计结合多个等级的窗口划分降低了计算复杂度，提出位移窗口（Shifted windows）使相邻的窗口之间进行交互，从而达到全局建模的能力。
Swin Transformer
森宝的博客
04-06 980
上面的常规的窗口虽然可以降低计算的复杂度，但是又产生了新问题，将图像分成多个窗口后，只能窗口内计算自注意力，窗口间没办法交互，限制了模型的建模能力。将窗口内的patch按照通道方向展平，红色的部分和红色部分的转置以及绿色部分和绿色部分的转置计算的才可以使用，其他的部分“扔掉”，就是使用Masked,给他赋值-100，在计算softmax就是0了。但是，我们发现他的窗口的数量增加了，从4个窗口变成9个窗口,计算量上来了，为此，提出Cyclic-shift 循环移位。这也意味着，在计算自注意力的时候，
Swin Transformer实战：使用 Swin Transformer实现图像分类。
2401_83817148的博客
04-21 1104
集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。**[外链图片转存中…(img-i3kwkSZg-1713707838458)][外链图片转存中…(img-VDE3unjH-1713707838459)][外链图片转存中…(img-po7mPkI8-1713707838459)][外链图片转存中…(img-ylD27ppP-1713707838460)]
李沐精读论文：Swin transformer: Hierarchical vision transformer using shifted windows
iwill323的博客
12-22 3495
李沐精读论文：Swin transformer: Hierarchical vision transformer using shifted windows patch partition Linear Embedding swin transformer block
【深度学习】论文阅读：（ICCV-2021））Swin Transformer
zhe470719的博客
03-17 7464
这里写目录标题论文详情VIT缺点改进点核心思想整体结构名称解释 Window、Patch、Token与vit区别结构过程Patch EmbeddingBasicLayerPatch MergingSwin Transform Block==Window Attention==Shifted Window Attention总结 论文详情 名称：Swin Transformer: Hierarchical Vision Transformer using Shifted Windows 地址：原论文 代码：
Swin_transformer的Patch Merging块和YOLO的FCOUS模块
互相学习的小博客
02-20 5921
Swin_transformer的Patch Merging块和YOLO的FCOUS模块
Swin Transformer详解
我的博客
04-28 7520
原创：余晓龙 “Swin Transformer: Hierarchical Vision Transformer using Shifted Window”是微软亚洲研究院（MSRA）发表在arXiv上的论文，文中提出了一种新型的Transformer架构，也就是Swin Transformer。本文旨在对Swin Transformer架构进行详细解析。 一、Swin Transformer网络架构 整体的网络架构采取层次化的设计，共包含4个stage,每个stage都会缩小输入特征图的分辨率，类似于
Swin Transformer原文及其代码的理解
kobayashi_的博客
07-02 5587
Swin Transformer的理解和实现 第一版 更好的排版笔记：Notion 名词解释 基础知识： 搞懂Vision Transformer 原理和代码，看这篇技术综述就够了(三) token:分词，cv中一般是patch MSA:Multi-head Self Attention 导论????(力推) 图解Swin Transformer official repo： microsoft/Swin-Transformer 实现 接下来跟着paper中的Architecture图结合原论文来讨
【学习】【HTML】localStorage、sessionStorage、cookie
m0_61097007的博客
11-13 848
是 Web 存储的一种形式，它允许在浏览器中存储键值对。是网站通过 Web 浏览器留在访问者电脑上的一小段信息。）API 的一部分，用于在客户端浏览器中存储数据。
蓝队技术学习
weixin_65861348的博客
11-12 995
该手册详细规定了在不同安全事件发生时应执行的标准操作程序，按安全事件类别进行了分类阐述。
EEG+EMG学习系列 (1) :一个基于小波的自动睡眠评分模型
最新发布
走在深度学习前沿的小宋
11-14 919
由于手动睡眠阶段评分方法的限制，创建自动睡眠阶段分类的需求已经上升。在这项研究中，使用`双通道单极脑电图 （EEG）`、`下巴肌电图 （EMG）` 和`双通道眼电图 （EOG）` 信号开发了一种新的机器学习模型。使用`最佳正交滤波器组`，通过分解 30 s 信号纪元来获得子带。然后根据这些子带的系数计算 `Tsallis 熵`。然后，这些特征被馈送到一个`集成袋装树 （EBT） 分类器`，用于自动睡眠分类。
swin transformer迁移学习
09-06
Swin Transformer是一种基于移动窗口的Hierarchical Vision Transformer。它的目标是实现Vision Transformer在非自然场景下的迁移学习。Swing Transformer的设计灵感主要来自于CNN，它融合了CNN的一些思想并将其应用于Transformer模型中。通过引入移动窗口的概念，Swin Transformer能够实现多尺度的特征提取，这使得它可以作为一个通用的backbone，为检测、分割等计算机视觉下游任务提供更好的支持。Swing Transformer在非自然场景下的迁移学习表现较好，这是因为Transformer本身不需要过多的inductive bias，并且已有的一些工作已经证明了将NLP预训练模型直接应用于计算机视觉任务的有效性。因此，我认为Swin Transformer具有较好的迁移学习能力。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [Swin-Transformer学习整理](https://blog.csdn.net/weixin_43856821/article/details/123243178)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* *3* [Swin Transformer 学习笔记](https://blog.csdn.net/qq_36936443/article/details/124296075)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值