检测分割算法改进(篇五) 引入Swin Transformer做检测网络Backbone

已于 2022-03-03 15:11:27 修改
阅读量1.2w 收藏 28
点赞数 19
分类专栏： 视觉检测图像分割干货 文章标签： transformer swin backbone 目标检测
于 2022-02-10 15:31:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42308217/article/details/122861881
版权
本文详细解析了Swin Transformer如何作为检测网络的Backbone，包括Patch Merging、Patch Partition、Linear Embedding、W-MSA和SW-MSA等关键模块，以及相对位置偏移的计算。通过Swin Transformer，网络能够在减少计算量的同时实现信息交互，适用于目标检测任务。
摘要由CSDN通过智能技术生成

检测算法通常包括Backbone、Neck、Head等结构，屠榜的Swin Transformer当然也是可以被作为Backbone的，如下图所示：

在撸代码之前，需要对Swin-Transformer的各个模块有清晰的了解，下面首先是对每个模块的解析及整个网络结构的前向原理。需要注意一点，在Swin Transformer中，Patch需要理解为多通道的像素，即feater map上的一个像素点包含所有通道的值，而非一个token。

Patch Merging

  • 该模块和YOLOX或Yolov5中的Fcous模块是大差小不差。存在于St
了解本专栏 订阅专栏 解锁全文
@会飞的毛毛虫
关注
  • 19
    点赞
  • 踩
  • 28
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论
专栏目录
订阅专栏
赋能 YOLOv8：引领目标检测革命的 SwinTransformer 主干网络
一直在水些技术小文
09-20 1682
YOLO（You Only Look Once）系列一直以其出色的性能和实时性而备受关注，而 YOLOv8 则将先进的 SwinTransformer 主干网络引入其中，为目标检测带来了新的突破。本文将深入研究 YOLOv8 和 SwinTransformer 的结合，为你呈现一篇详尽的博文，包含示例和代码，帮助你深入了解如何实现这一强大的目标检测模型。其中一个最引人注目的改进是将主干网络替换为 SwinTransformer，这一变化为目标检测的实时性和准确性带来了巨大的提升。
YOLOv10改进 | 主干/Backbone篇 | SwinTransformer替换Backbone（附代码 + 详细修改步骤 +原理介绍）
最新发布
Snu77的博客
07-12 854
本文给大家带来的改进机制是利用替换YOLOv10中的骨干网络其是一个开创性的视觉变换器模型，它通过使用位移窗口来构建分层的特征图，有效地适应了计算机视觉任务。与传统的变换器模型不同，Swin Transformer的自注意力计算仅限于局部窗口内，使得计算复杂度与图像大小成线性关系，而非二次方。这种设计不仅提高了模型的效率，还保持了强大的特征提取能力。Swin Transformer的创新在于其能够在不同层次上捕捉图像的细节和全局信息，使其成为各种视觉任务的强大通用骨干网络。
Swin Transformer做backbone的YoloX目标检测
shayinzzh的博客
05-30 1万+
使用Swin Transformer做骨干网络进行YoloX目标检测
【神经网络架构】Swin Transformer
博观约取，厚积薄发
01-27 2525
Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
论文阅读笔记 | Transformer系列——Swin Transformer
Clichong
10-25 1802
如有错误，恳请指出。 文章目录1. Introduction2. Related Work3. Swin Transformer Method3.1 Overall Architecture3.1.1 Architecture3.1.2 Swin Transformer block3.2 Shifted Window based Self-Attention3.2.1 Self-attention in non-overlapped windows3.2.2 Shifted window partit.
Swin Transformer【Backbone】
记录/交流，加油啊呀...
07-24 1849
笔记_简介
Swin Transformer详解
热门推荐
qq_43349542的博客
07-09 2万+
之前transformer主要用于NLP领域，现在也应用到了CV领域。
YOLOX-结合YOLOX+SwinTransformer作为Backbone实现的目标检测算法-附预训练权重下载+项目源码
05-09
YOLOX（You Only Look Once, eXtreme）是一种基于YOLO系列的高效目标检测算法，它在YOLOv4的基础上进行了优化和改进，旨在提高检测速度和精度。Swin Transformer是Transformer架构在计算机视觉领域的创新应用，通过...
Swin-T-使用Pytorch实现Swin-Transformer目标检测算法-优质项目实战.zip
04-29
Swin-Transformer是一种基于Transformer架构的新型卷积神经网络（CNN），由谷歌的研究人员于2021年提出。该模型在计算机视觉任务上取得了显著的成果，特别是在图像分类、目标检测和语义分割等领域。本项目实战是针对...
YOLOV5 改进实战项目【更换backbone为Swin-Transformer】：农场乌鸡目标检测数据集
03-21
基于YOLOV5【更换backbone为Swin-Transformer】对农场乌鸡目标检测数据集的目标检测实战项目，包含代码、数据集、训练好的权重参数，经测试，代码可以直接使用 【数据集介绍】乌鸡图像数据，1类别：乌鸡 训练集...
Swin-Transformer详解
damadashen的博客
06-06 2701
本文主要介绍了SwinTransformer的结构及其相关内容，SwinTransformer的设计借鉴了ViT对图像数据的处理方法，通过分层设计结合多个等级的窗口划分降低了计算复杂度，提出位移窗口（Shifted windows）使相邻的窗口之间进行交互，从而达到全局建模的能力。
CV--Swin TransFromer 你又该换Backbone了
m0_63642362的博客
12-04 742
CV方向 Transformer已经成为了“标准答案”，COCO榜前10名都是Transformer，前八名更是全部脱胎与Swin今天就一起来看看Swin Transformer的究极秘密吧!
《Swin Transformer Hierarchical Vision Transformer using Shifted Windows》论文超详细解读（翻译＋精读）
路人贾的博客
08-07 4344
《Swin Transformer Hierarchical Vision Transformer using Shifted Windows》论文超详细解读（翻译＋精读）
Swin-Transformer 图像分割实战：使用Swin-Transformer-Semantic-Segmentation训练ADE20K数据集（语义分割）
AI浩
12-13 1万+
Win10实现Swin-Transformer 图像分割 这篇博文是关于Swin-Transformer 图像分割的应用实战，包括环境搭建、训练和测试。数据集采用ADE链接：http://data.csail.mit.edu/places/ADEchallenge/ADEChallengeData2016.zip。 Swin-Transformer 图像分割github地址：https://github.com/SwinTransformer/Swin-Transformer-Semantic-Segmen
Swin Transformer实战： timm使用、Mixup、Cutout和评分一网打尽，图像分类任务
Dove_1234的博客
05-19 3446
摘要 本例提取了植物幼苗数据集中的部分数据做数据集，数据集共有12种类别，演示如何使用timm版本的Swin Transformer图像分类模型实现分类任务已经对验证集得分的统计，本文实现了多个GPU并行训练。 通过本文你和学到： 1、如何从timm调用模型、loss和Mixup？ 2、如何制作ImageNet数据集？ 3、如何使用Cutout数据增强？ 4、如何使用Mixup数据增强。 5、如何实现多个GPU训练和验证。 6、如何使用余弦退火调整学习率？ 7、如何使用classifica
一点就分享系列（实践篇3-下篇）（3月1号更新： 释出swintransformer2改进点和代码）— yolov5之“回顾总结”与“彩蛋附赠”+“后续模型设计“+永不完结的更新idea“
啥都会一点的小程的博客
09-16 1万+
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录系列文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例
【SwinTransformer】大杀四方的 Swin Transformer 详解及改进
零碎@流年絮语 的博客
07-09 4900
大杀四方的 Swin Transformer 详解及改进
swin transformer作为backbone
07-28
Swin Transformer作为backbone在计算机视觉任务中具有很高的性能。它是一种基于Transformer的网络架构，通过将输入图像分割成多个Patch，并使用Transformer模块对这些Patch进行处理来提取特征。Swin Transformer的网络结构包括多个阶段（Stage），每个阶段都包含多个Swin Transformer块。 在Swin Transformer中，Patch Merging模块的作用是进行降采样，通过该模块后，特征图的形状会减小一倍，通道数会增加一倍。这个模块类似于YOLOX或Yolov5中的Fcous模块。Patch Merging模块存在于Stage2到Stage4中。 Swin Transformer的输入是一个H×W×3的图像，经过Patch Partition和Linear Embedding后，形状和通道维度会变为(H/4，W/4，48)。然后，类似于ResNet，不同的阶段对特征图进行降采样，形状缩小的同时通道数会扩展相同的倍数。这样做的目的是为了获得更大的感受野和丰富每个特征点对应原图上的特征信息。 Swin Transformer一共有四个模型，从Tiny、Small、Basic到Large。以Swin-T为例，其中的concat4×4、96-d、LN操作代表Patch Partition和Linear Embedding操作，其和Patch Merging模块一样。其中，concat4×4表示将高和宽下采样四倍，96-d表示Linear Embedding将通道数变为96，LN表示layer norm。win.sz代表window size即窗口大小，dim 96代表通过Swin-Transformer Block输出的特征通道维度为96，head 3代表Multi-Head Self-attention的头数。 此外，Swin Transformer还利用相对位置索引矩阵来计算注意力，通过对索引矩阵进行一系列操作，得到相对位置偏置表，用于Attention计算中的B矩阵。这个表是网络训练过程中真正要训练的参数，且只要窗口大小是固定的，一元索引矩阵的值就是固定的。 综上所述，Swin Transformer作为backbone在计算机视觉任务中通过分割图像为Patch并使用Transformer模块进行特征提取，具有较高的性能和灵活性。 #### 引用[.reference_title] - *1* *2* *3* [检测分割算法改进(篇五) 引入Swin Transformer做检测网络Backbone](https://blog.csdn.net/qq_42308217/article/details/122861881)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

@会飞的毛毛虫

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值