【RT-DETR有效改进】为什么YOLO版本的RT-DETR训练模型不收敛精度差的问题

已于 2024-01-29 00:19:42 修改
阅读量9.1k 收藏 53
点赞数 55
CC 4.0 BY-SA版权
分类专栏： RT-DETR有效改进专栏 文章标签： 人工智能 YOLO 深度学习 python pytorch 计算机视觉 RT-DETR
于 2024-01-15 07:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/java1314777/article/details/135584733

前言

大家好，我是Snu77，这里是RT-DETR有效涨点专栏。

本专栏的内容为根据ultralytics版本的RT-DETR进行改进，内容持续更新，每周更新文章数量3-10篇。

其中提到的多个版本ResNet18、ResNet34、ResNet50、ResNet101为本人根据RT-DETR官方版本1：1移植过来的，参数量基本保持一致(误差很小很小)，不同于ultralytics仓库版本的ResNet官方版本，同时ultralytics仓库的一些参数是和RT-DETR相冲的所以我也是会教大家调好一些参数，真正意义上的跑ultralytics的和RT-DETR官方版本的无区别，给后期发论文的时候省区许多麻烦。

👑欢迎大家订阅本专栏，一起学习RT-DETR👑 

本文介绍 

本文的内容同样为本专栏的前期预热文章，文章主要解释一下为什么有的人跑ultralytics仓库的RT-DETR精度很差，模型不收敛，mAP异常的情况。

为了验证这一情况我也是跑了多个实验，从多个数据集出发，100-500的数据集我跑了

了解本专栏 订阅专栏 解锁全文
【RT-DETR有效改进】带你分析如何确定改进的基础模型，解决模型无法收敛精度很差的问题(ResNet官方一比一复现)
Snu77的博客
01-12 4256
Hello，各位读者，距离第一天发RT-DETR的博客已经过去了接近两个月，这段时间里我深入的研究了一下RT-DETR在ultralytics仓库的使用，旨在为大家解决为什么用v8的仓库训练的时候模型不收敛，精度差的离谱的问题，我也是成功的找到了解决方案，对于ultralytics仓库进行多处改进从而让其还原RT-DETR官方的实验环境从而达到一比一的效果。其次我也将RT-DER的官方版本。
【RT-DETR涨点改进】小目标检测、特征融合改进篇 | TGRS 2024 | RT-DETR引入CSFM上下文选择融合模块，适合多模态检测、红外小目标检测、小目标检测、遥感目标检测等任务有效涨点
最新发布
Ai缝合怪、助力小伙伴高效发论文
10-21 587
本文提出了一种改进RT-DETR目标检测模型的方法，通过引入上下文选择融合模块（CSFM）显著提升复杂背景下小目标和低对比度目标的检测精度。CSFM模块采用多尺度特征融合和动态特征选择机制，有效增强模型的全局上下文感知能力，同时保留细节特征。该模块通过通道减少机制和空间信息调节，实现从粗到细的特征聚合，减少误报并提高轮廓检测精度。实验表明，改进后的RT-DETR模型在多个基准测试中表现优异，计算效率与检测精度均优于现有方法。文章还详细介绍了模块配置和yaml文件修改方法，为模型部署提供指导。
利用mindspore下面mindzoo里面的yolov3-darknet53进行目标识别，模型训练不收敛
weixin_45666880的博客
07-12 793
Modelzoo中yolov3-darknet53代码（mindspore1.1源码中的modelzoo）。运行环境：mindspore-gpu1.4.1 docker，python3.7.5【操作步骤&问题现象】1、数据方面：原始数据是公开比赛数据xinye，标注标准是coco2014格式。数据的组织形式是按照yolov3-darknet53. 其中训练数据1300张，大小为960*720（width*height）.原始数据图片和标注可视化后形式如下：同时下载了darknet53.conv.74并用自
YOLOv5/v6/v7/v8/RT-DETR 对比试验的一些想法
YOLOv8项目贡献者
07-21 8047
个人心得体会
Rethinking Transformer-based Set Prediction for Object Detection——DETR收敛慢的原因分析
Nick Blog
07-13 3771
最近整理Transformer和set prediction相关的检测&实例分割文章，感兴趣的可以跟一下： DETR: End-to-End Object Detection with Transformers Deformable DETR Rethinking Transformer-based Set Prediction for Object Detection Instances as Queries SOLQ: Segmenting Objects by Learning Querie
MindYolo项目中使用GPU训练YOLOv8-seg模型Loss不收敛问题分析
gitblog_07410的博客
06-26 444
MindYolo项目中使用GPU训练YOLOv8-seg模型Loss不收敛问题分析 问题背景 在MindYolo项目中，用户尝试使用GPU训练YOLOv8-seg分割模型时遇到了Loss不收敛的问题。该问题在MindSpore 2.0环境下出现，而当用户切换到MindSpore 2.2.14版本时，问题依然存在。有趣的是，当回退到MindSpore 2.0.0版本后，损失函数开始收敛。 环境配置分...
【DETR】2、Deformable DETR | 使用多尺度可变形 attention 的方式来解决 DETR 收敛慢和小目标不好的问题
呆呆的猫的博客
10-26 6135
本文主要介绍 Deformable DETR
【RT-DETR有效改进】手把手带你调参RT-DETR，1：1复现官方版本实验环境
Snu77的博客
01-29 8679
本文是带大家进行调参，利用ultralytics仓库1：1复现RT-DETR官方实验环境，从而在后期发表论文 的时候省去一些不必要的麻烦，例如被审稿人提出质疑，本文的调参内容均有依据，根据RT-DETR官方Github上发布的版本进行设置本文的调参以ResNet18为例，其余的何其的调参基本一致。RT-DETR剑指论文专栏，持续复现各种顶会内容——论文收割机RT-DETR。
RT-DETR改进有效系列目录 | 包含卷积、主干、RepC3、注意力机制、Neck上百种创新机制
热门推荐
Snu77的博客
01-29 2万+
Hello，各位读者们好Hello，各位读者，距离第一天发RT-DETR的博客已经过去了接近两个月，这段时间里我深入的研究了一下RT-DETR在ultralytics仓库的使用，旨在为大家解决为什么用v8的仓库训练的时候模型不收敛，精度差的离谱的问题，我也是成功的找到了解决方案，对于ultralytics仓库进行多处改进从而让其还原RT-DETR官方的实验环境从而达到一比一的效果。同时本人一些讲解视频和包含我所有创新的RT-DETR文档。
RT-DETR改进前必看 - Ultralytics调参 1：1还原RT-DETR官方版本实验环境，更方便改进
Limiiiing的博客
11-21 6528
的项目文件中集成了YOLOv3v5v6v8v9v10rt-detr11以及其中不同大小的模型结构，更方便我们学习和使用。的参数配置在路径下，其中中设置了模型在训练Train验证Val/Test预测Predict可视化Visualize导出Export超参数Hyperparameters、以及跟踪Tracker的相关参数。在调参过程中主要涉及训练Train和超参数Hyperparameters。下面主要介绍一下初始超参数Hyperparameters。
利用pytorch版本RT-DETR训练自己数据集出现的问题
TracyGC的博客
12-07 2248
因为在数据集yml里面：”remap_mscoco_category: True“调用的是原来coco数据集的标签，所以要在数据集yml里面将remap_mscoco_category改成False,就是调用else后面的代码。出现这个问题是因为np.float从1.24起被删除。所用的代码是依赖于旧版本的Numpy。可以将Numpy版本降级到1.23.5.里面的indexing="
RT-DETR算法改进：更换损失函数Alpha-IoU损失函数，边界框回归联合损失的幂交集，提升RT-DETR检测精度
包括YOLOv5、YOLOv7、YOLOv8等模型改进
11-13 970
RT-DETR算法｜改进Alpha-IoU损失函数
YOLO框架下（ultralytics） RTDETE 与 YOLOv8 目标检测对比
qq_42835363的博客
02-01 1964
1 RTDETR的召回相对较高，缺点：存在过检现象（背景或车上的货物识别为目标），优点：一些被遮挡或边角的目标能够比v8正确检出。 2 存在目标RTDETR漏检，但v8正确检出。有时候v8也会过检，但概率较低。 3 存在目标RTDETR误检，v8正确检出/由于遮挡漏检。 4 当前训练是2700+数据训练的模型，本人认为尽管存在上述2、3所提问题，但RTDETR的过检应该可以通过conf过滤，而部分误检现象通过增大数据集应该可以改善，但2、3同时也说明，相对来说，v8可以用较少的数据训出较好的模
YOLO-v8和RT-DETR比较
m0_60857098的博客
08-30 7135
RT-DETR由于轻巧的设计也已经快于大部分YOLO，然后实际端到端应用的时候还是得需要加上NMS的...嗯等等，DETR类检测器压根就不需要NMS，所以一旦端到端使用，RT-DETR依然轻装上阵一路狂奔，而YOLO系列就需要带上NMS负重前行了，NMS参数设置的不好比如为了拉高recall就会严重拖慢YOLO系列端到端的整体速度。⒉.较高的准确率: YOLO V8在YOLO系列的基础上进行了改进，通过引入更多的技术手段，如特征金字塔网络、注意力机制等，提升了检测的准确率。⑥密集目标检测能力；
RT-DETR个人整理向理解
weixin_44438120的博客
09-07 6858
在开始介绍RT-DETR这个网络之前，我们首先需要先了解DETR这个系列的网络与我们常提及的以及存在着何种差异。首先我们先简单讨论一下以及两者的差异与共性：1、两者差异：顾名思义，这两者一个显而易见的差别就是有无anchor，是需要手工选取不同比例大小的anchor来得到proposals，而则不需要。当然两者具体差异肯定不是这么几句话就能说的清的，这里不做详细讨论所以按下不表。2、两者共性：两者虽然在获取proposals。
【RT-DETR有效改进】结合SOTA思想利用双主干网络改进RT-DETR（全网独家创新，重磅更新）
Snu77的博客
03-04 8519
本文给大家带来的改进机制是结合目前SOTAYOLOv9的思想利用双主干网络来改进YOLOv8（本专栏目前发布以来改进最大的内容，同时本文内容为我个人一手整理全网独家首发 | 就连V9官方不支持的模型宽度和深度修改我都均已提供，本文内容支持RT-DETR全系列模型均可使用，本文的内容超级适合想要发表论文的读者创新性不够，工作量不够的，本文的改进在感官上给人就有一种工作量多和创新点十足的感觉，同时本专栏内容以后均采用NEU-DET数据集进行对比实验模型（避免大家质疑数据集质量的问题），本文内容为独家整理！。
目标检测学习笔记
记一些学习笔记
09-17 603
ROOT_PATH文件下有 ./train.txt ./val.txt ./test.txt ，可以这3个文件来定义训练集、验证集、测试集。注意， 这里里面填写的应是图片文件名字，而不是图片的绝对地址。形状相同，尺寸不同的两个物体怎么分类：好像没啥好办法，尺度不变，算面积；拍摄方案：8：1：1，四种不同尺寸，两大两小，大的每种三个，小的每种五个，单，两，三，四组合一下共575张。如果不进行数据集划分，可利用此参数指定输出文件的名字，默认保存为。先标注然后再进行增强，增强好像可以直接用paddel的。
无脑——010 复现yolov8 使用yolov8和rt detr 对比，并训练自己的数据集,标签自动标注
weixin_44298961的博客
08-10 9621
使用ultralytics框架运行yolov8，RTDETR
rt-detr模型改进yolo
03-26
### 改进YOLO的思路 RT-DETR 是一种基于 Transformer 的目标检测模型，在实时性和精度方面表现出显著优势[^1]。通过对 RT-DETR 和 YOLO 的对比分析，可以发现一些潜在的方法来改进 YOLO 的性能或结构。 #### 1. **引入Anchor-Free机制** YOLO系列通常依赖于预定义的锚框（anchor boxes），而 RT-DETR 使用的是 Anchor-Free 方法，这不仅简化了网络设计还提升了推理速度[^2]。可以通过借鉴 RT-DETR 中的无锚点策略，减少对先验框的依赖，从而降低计算复杂度并提升检测效率。 #### 2. **优化注意力机制** RT-DETR 利用了 Transformer 结构中的自注意力机制来自适应地捕捉全局上下文信息。这种特性可以帮助解决传统卷积神经网络难以处理长距离依赖关系的问题。因此可以在 YOLO 架构中加入类似的多头自注意模块或者轻量级变形注意力(deformable attention)，增强其特征提取能力。 #### 3. **采用混合编码器架构** 为了进一步加速推断过程并保持高准确性，RT-DETR 设计了一种新颖的混合编码器方案。此方法结合了局部窗口内的交互操作与跨窗口的信息交流，既保留了细粒度的空间细节又能获取更广泛的场景理解。对于 YOLO 来说，则可考虑在其 backbone 或 neck 部分融入这样的混合编码逻辑，平衡资源消耗同表现力之间的权衡。 #### 4. **强化骨干网路(Backbone)** 从 ResNet 出发，RT-DETR 提出了 MSBlock 单元作为替代原有 Bottleneck 层次的选择之一[^3]。这些改动旨在加强深层表示学习的同时控制参数规模增长。相应地，当调整 YOLO 的基础框架时，也可以探索将此类改良后的组件嵌入进去，比如替换部分标准残差连接形式为更加高效的变体实现方式。 ```python import torch.nn as nn class ImprovedResidual(nn.Module): def __init__(self, channels): super().__init__() self.conv1 = nn.Conv2d(channels, channels//4, kernel_size=1) self.bn1 = nn.BatchNorm2d(channels//4) self.relu = nn.ReLU(inplace=True) self.depthwise_conv = nn.Conv2d( channels//4, channels//4, groups=channels//4, kernel_size=3, padding='same' ) self.pointwise_conv = nn.Conv2d(channels//4, channels, kernel_size=1) def forward(self, x): residual = x out = self.conv1(x) out = self.bn1(out) out = self.relu(out) out = self.depthwise_conv(out) out = self.pointwise_conv(out) return out + residual ``` 上述代码展示了一个可能用于改善 YOLO Backbone 的新型残差单元实例化流程。 ---
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Snu77

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值