YOLOv8改进 | 主干网络 | 在backbone添加Swin-Transformer层【论文必备】

已于 2024-07-05 14:41:21 修改
阅读量714 收藏 2
点赞数
分类专栏： YOLOv8改进有效涨点 文章标签： YOLO transformer 深度学习 YOLOv8 YOLOv8改进
于 2024-05-15 20:57:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_67647321/article/details/138922690
版权
YOLOv8改进有效涨点 专栏收录该内容
125 篇文章 56 订阅 ¥159.90 ¥299.90
订阅专栏
本文介绍了将Swin-Transformer添加到YOLOv8 backbone中的方法，详细阐述了Swin-Transformer的原理及优势，包括局部和全局注意力机制，以及在代码实现中的关键步骤，如添加代码、配置yaml文件、注册模块和执行程序。提供完整代码供读者实践，以提升深度学习目标检测模型的性能。
摘要由CSDN通过智能技术生成

注意力机制是提高模型性能最热门的方法之一，本文给大家带来的教程是添加Swin-Transformer到backbone中。文章在介绍主要的原理后，将手把手教学如何进行模块的代码添加和修改，并将修改后的完整代码放在文章的最后，方便大家一键运行，小白也可轻松上手实践。以帮助您更好地学习深度学习目标检测YOLO系列的挑战。

专栏地址：YOLOv8改进——更新各种有效涨点方法

目录

 

1.原理

2.Swin-Transformer代码

2.1 添加Swin-Transformer代码

2.2 新增yaml文件

2.3 注册模块

2.4 执行程序

3. 完整代码分享 

4. 总结

1.原理

了解本专栏 订阅专栏 解锁全文
kay_545
关注
专栏目录
订阅专栏
芒果YOLOv8改进76：主干Backbone篇Swin Transformer：在基础SwinTransformer结构的基础上进行多种改进结构，集成Transformer和CNN的优势
包括YOLOv5、YOLOv7、YOLOv8等模型改进
09-27 2349
YOLOv8 | Swin Transformer改进🍊
YOLOv5 加入 swin-transformer
weixin_45303602的博客
07-26 1672
Swin-Transformer使用了层级式的骨干网络设计。从较小的Patch尺寸开始，每一阶段不断合并Patch，实现在不同阶段使用不同下采样率的特征图，从而可以输出多尺度的特征信息。
YOLOv8最新改进系列：YOLOv8融合SwinTransformer模块，有效提升小目标检测效果！
weixin_51692073的博客
09-06 1万+
YOLOv8融合SwinTransformer模块，有效提升小目标检测效果！
全网首发，Swin Transformer+FaceNet实现人脸识别
xian0710830114的专栏
05-04 1万+
一、 简介 与其他的深度学习方法在人脸上的应用不同，FaceNet并没有用传统的softmax的方式去进行分类学习，然后抽取其中某一层作为特征，而是直接进行端对端学习一个从图像到欧式空间的编码方法，然后基于这个编码再做人脸识别、人脸验证和人脸聚类等。 FaceNet主要有两个重点：Backbone和Triplet loss。我们也将主要从这两个方面介绍。 代码：oaifaye/facenet-swim-transformer 二、Swin Transformer作为Backbone ......
【YOLOv8改进- Backbone主干】YOLOv8更换主干网络之ConvNexts，纯卷积神经网络，更快更准，，降低参数量！
最新发布
2401_85597258的博客
07-24 878
【YOLOv8改进- Backbone主干】YOLOv8更换主干网络之ConvNexts，纯卷积神经网络，更快更准，，降低参数量！
YOLOv5改进 | 主干网络 | 在backbone添加Swin-Transformer层【论文必备】
kay_545
05-15 1693
Swin-Transformer，yolov5改进，yolov8改进，yolo，目标检测
在YOLOv5中添加Swin-Transformer模块
YanHS_的博客
02-09 1万+
提供了一个在YOLOv5代码中添加SwinTransformer相应模块的代码仓库，并对使用方法进行了简单介绍。
YOLOv8改进添加swin transformer
qq_62127918的博客
07-01 1406
改进YOLOv8，去网上找了很多教程都是充钱才能看的，NND这对一个一餐只能吃两个菜的大学生来说是多么的痛苦，所以自己去找代码手动改了一下，成功实现YOLOv8改进添加swin transformer，本人水平有限，改得不对的地方请自行改正。
yolov5_transformer:Yolov5带变压器
03-19
“＃yolov5_transformer”
Yolov5网络修改教程（将backbone修改为EfficientNet、MobileNet3、RegNet等）
热门推荐
rglkt的博客
06-29 3万+
在我的本科毕业论文中，我使用了Yolov5，并尝试对其更改。可以对Yolov5进行一定程度的定制化修改，例如更轻量级的Yolov5-MobileNetv3 或者比Yolov5s更好的（存疑，没有跑过大数据集，可自己实验）Yolov5-EfficientNet。......
YOLOv5与Swin-Transformer的结合
m0_67388791的博客
05-14 8622
Swin-Transformer在计算机视觉的各个下游任务上都取得了很好的效果，而YOLO系列（尤其是v5、v7、v8）更是目标检测领域的最常见的检测器。本文将YOLOv5的骨干提取网络换成Swin-Transformer（v7/v8同样）。Swin-Transformer的详细了解可参考朱老师的和b站大佬霹雳吧啦的。
yolov5目标检测模型 (融合transformer+已调参优化）
10-29
yolov5口罩检测，此模型已融合了attention机制，best.pt放在主目录下，考虑到训练时间使用的yolov5x，mAp96%左右，能够较高的识别人脸是否佩戴口罩，可以修改损失函数继续进行优化
YOLOv5：修改backbone为ConvNeXt
FriendshipTang的博客
09-14 832
Python、PyTorch、YOLOv5、backbone、ConvNeXt
YOLOv5尝试修改backbone
weixin_42182534的博客
03-11 9517
本博文记录第一次修改yolov5，只是尝试，不做工程效率的考虑 最近尝试修改yolov5的网络结构，在这里记录一下 第一步：加入模块代码 将模型搭建中所需的模块放入YOLOv5的源码路径models/common.py里，以ShuffleNetV2的InvertedResidual为例： 在common.py的顶部加入导入 from torch import Tensor from typing import Callable, Any, List 将InvertedResidual类和
YOLOV5更换轻量级的backbone：mobilenetV2
qq_49627063的博客
07-06 9342
如何更换YOLOV5的backbone
改进YOLOv5系列：3.YOLOv5结合Swin Transformer结构，ICCV 2021最佳论文 使用 Shifted Windows 的分层视觉转换器
包括YOLOv5、YOLOv7、YOLOv8等模型改进
08-02 3万+
目标检测小白科研Trick改进推荐 | 包括Backbone、Neck、Head、注意力机制、IoU损失函数、NMS、Loss计算方式、自注意力机制、数据增强部分、激活函数
修改YOLOV5的Backbone为shufflenetv2
u014723479的博客
08-06 3743
YOLOv5修改backbone为shufflenetv2
YOLOv5改进之替换Backbone为ResNet34
年少的勇气已经用完，剩下的就是三思而后行
01-29 812
BestYOLO是一个以科研和竞赛为导向的最好的YOLO实践框架!目前BestYOLO是一个完全基于进行改进的开源库，该库将始终秉持以落地应用为导向，以轻便化使用为宗旨，简化各种模块的改进。目前已经集成了基于模型为Backbone的YOLOv5目标检测算法，同时也将逐渐开源更多YOLOv5应用程序。
YOLOv5-7.0添加BottleNet transformer
heromps的博客
06-28 1707
YOLOv5主干特征提取网络为CNN网络，CNN具有平移不变性和局部性，缺乏全局建模长距离建模的能力，引入自然语言领域的Transformer可以形成CNN+TransFormer架构，充分结合两者的优点，提高目标检测效果。
swin transformer作为backbone
07-28
Swin Transformer作为backbone在计算机视觉任务中具有很高的性能。它是一种基于Transformer的网络架构，通过将输入图像分割成多个Patch，并使用Transformer模块对这些Patch进行处理来提取特征。Swin Transformer的网络结构包括多个阶段（Stage），每个阶段都包含多个Swin Transformer块。 在Swin Transformer中，Patch Merging模块的作用是进行降采样，通过该模块后，特征图的形状会减小一倍，通道数会增加一倍。这个模块类似于YOLOX或Yolov5中的Fcous模块。Patch Merging模块存在于Stage2到Stage4中。 Swin Transformer的输入是一个H×W×3的图像，经过Patch Partition和Linear Embedding后，形状和通道维度会变为(H/4，W/4，48)。然后，类似于ResNet，不同的阶段对特征图进行降采样，形状缩小的同时通道数会扩展相同的倍数。这样做的目的是为了获得更大的感受野和丰富每个特征点对应原图上的特征信息。 Swin Transformer一共有四个模型，从Tiny、Small、Basic到Large。以Swin-T为例，其中的concat4×4、96-d、LN操作代表Patch Partition和Linear Embedding操作，其和Patch Merging模块一样。其中，concat4×4表示将高和宽下采样四倍，96-d表示Linear Embedding将通道数变为96，LN表示layer norm。win.sz代表window size即窗口大小，dim 96代表通过Swin-Transformer Block输出的特征通道维度为96，head 3代表Multi-Head Self-attention的头数。 此外，Swin Transformer还利用相对位置索引矩阵来计算注意力，通过对索引矩阵进行一系列操作，得到相对位置偏置表，用于Attention计算中的B矩阵。这个表是网络训练过程中真正要训练的参数，且只要窗口大小是固定的，一元索引矩阵的值就是固定的。 综上所述，Swin Transformer作为backbone在计算机视觉任务中通过分割图像为Patch并使用Transformer模块进行特征提取，具有较高的性能和灵活性。 #### 引用[.reference_title] - *1* *2* *3* [检测分割算法改进(篇五) 引入Swin Transformer做检测网络Backbone](https://blog.csdn.net/qq_42308217/article/details/122861881)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

kay_545

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值