RT-DETR改进前后数据+YOLOv7

已于 2024-03-22 09:57:19 修改
阅读量698 收藏 13
点赞数 10
文章标签： RT-Detr YOLO
于 2024-03-18 15:14:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/WhiffeYF/article/details/136810048
版权

b站视频：https://www.bilibili.com/video/BV1fD421j7hQ/

【腾讯文档】RT-DETR改进前后数据

目录

1.RT-DETR-r50

1.1.last

在这里插入图片描述

rtdetr-r50 summary: 480 layers, 41964383 parameters, 0 gradients, 129.6 GFLOPs
                 Class     Images  Instances      Box(P          R      mAP50  mAP50-95): 100%|██████████| 380/380 [00:17<00:00, 21.27it/s]
                   all       3036       3427      0.699      0.685      0.659      0.507
                 weigh       3036        337       0.68      0.721      0.692      0.537
        height measure       3036        802      0.681        0.5      0.527      0.356
             drop ball       3036        820      0.601      0.741      0.609      0.475
          size measure       3036        601      0.672      0.631      0.619      0.481
                record       3036        867      0.863      0.834      0.847      0.688
Speed: 0.1ms preprocess, 4.3ms inference, 0.0ms loss, 0.2ms postprocess per image
Results saved to runs/train/exp

1.2.best

在这里插入图片描述


val: Scanning /data/RT-DETR/yolo_behavior_Dataset_all2/labels/val.cache... 3036 images, 0 backgrounds, 0 corrupt: 100%|██████████| 3036/3036 [00:00<?, ?it/s]
                 Class     Images  Instances      Box(P          R      mAP50  mAP50-95): 100%|██████████| 759/759 [00:26<00:00, 28.76it/s]
                   all       3036       3427       0.71      0.681      0.658      0.507
                 weigh       3036        337      0.688      0.721      0.691      0.535
        height measure       3036        802      0.693      0.481      0.525      0.356
             drop ball       3036        820       0.61      0.733      0.606      0.473
          size measure       3036        601      0.687      0.633      0.622      0.482
                record       3036        867       0.87      0.835      0.847       0.69
Speed: 0.1ms preprocess, 6.8ms inference, 0.0ms loss, 0.2ms postprocess per image
Results saved to runs/val/exp

2.RT-DETR-r50-filter

2.1.last

在这里插入图片描述

rtdetr-r50 summary: 480 layers, 41964383 parameters, 0 gradients, 129.6 GFLOPs
                 Class     Images  Instances      Box(P          R      mAP50  mAP50-95): 100%|██████████| 365/365 [00:17<00:00, 21.07it/s]
                   all       2915       3275      0.721      0.654      0.663      0.511
                 weigh       2915        337      0.678      0.668      0.657      0.512
        height measure       2915        726      0.669      0.482      0.536      0.385
             drop ball       2915        757      0.642      0.665      0.614      0.463
          size measure       2915        589      0.761      0.643      0.671      0.519
                record       2915        866      0.856      0.813      0.838      0.677
Speed: 0.1ms preprocess, 4.3ms inference, 0.0ms loss, 0.2ms postprocess per image
Results saved to runs/train/exp3

2.2.best

在这里插入图片描述


val: Scanning /data/RT-DETR/yolo_behavior_Dataset_all3_filter/labels/val.cache... 2915 images, 0 backgrounds, 0 corrupt: 100%|██████████| 2915/2915 [00:00<?, ?it/s]
                 Class     Images  Instances      Box(P          R      mAP50  mAP50-95): 100%|██████████| 729/729 [00:25<00:00, 28.35it/s]
                   all       2915       3275      0.722      0.654      0.662      0.511
                 weigh       2915        337      0.683      0.671      0.654      0.511
        height measure       2915        726      0.661      0.482       0.54      0.388
             drop ball       2915        757      0.643      0.666      0.613      0.464
          size measure       2915        589      0.764      0.635      0.665      0.515
                record       2915        866      0.858      0.816      0.839      0.677
Speed: 0.1ms preprocess, 6.8ms inference, 0.0ms loss, 0.2ms postprocess per image

3.RT-DETR-r50-filter-data-enhance

3.1.last

在这里插入图片描述

rtdetr-r50 summary: 480 layers, 41964383 parameters, 0 gradients, 129.6 GFLOPs
                 Class     Images  Instances      Box(P          R      mAP50  mAP50-95): 100%|██████████| 407/407 [00:18<00:00, 21.50it/s]
                   all       3252       3624      0.741      0.687      0.667       0.53
                 weigh       3252        674      0.876      0.653      0.669      0.554
        height measure       3252        726      0.642      0.519      0.518      0.376
             drop ball       3252        758       0.62      0.781      0.673       0.52
          size measure       3252        589      0.781      0.628      0.629      0.489
                record       3252        877      0.787      0.855      0.848      0.713
Speed: 0.1ms preprocess, 4.3ms inference, 0.0ms loss, 0.2ms postprocess per image
Results saved to runs/train/exp5

3.2.best

在这里插入图片描述

val: Scanning /data/RT-DETR/yolo_behavior_Dataset_all4_data_enhance/labels/val.cache... 3252 images, 0 backgrounds, 0 corrupt: 100%|██████████| 3252/
                 Class     Images  Instances      Box(P          R      mAP50  mAP50-95): 100%|██████████| 813/813 [00:28<00:00, 29.03it/s]
                   all       3252       3624      0.739      0.684      0.663      0.527
                 weigh       3252        674      0.876      0.651      0.671      0.556
        height measure       3252        726      0.641      0.514      0.512       0.37
             drop ball       3252        758      0.625      0.776       0.67      0.518
          size measure       3252        589      0.768      0.628       0.62      0.481
                record       3252        877      0.783      0.852      0.843      0.711
Speed: 0.1ms preprocess, 6.7ms inference, 0.0ms loss, 0.2ms postprocess per image
Results saved to runs/val/exp5

4.RT-DETR-r50-filter-data-enhance2

4.1.last

在这里插入图片描述

Ultralytics YOLOv8.0.201 🚀 Python-3.8.3 torch-1.9.0+cu111 CUDA:0 (NVIDIA A800 80GB PCIe, 80995MiB)
rtdetr-r50 summary: 480 layers, 41964383 parameters, 0 gradients, 129.6 GFLOPs
                 Class     Images  Instances      Box(P          R      mAP50  mAP50-95): 100%|██████████| 425/425 [00:19<00:00, 21.31it/s]
                   all       3397       3832      0.701      0.692      0.685      0.515
                 weigh       3397        716      0.828      0.679      0.724      0.584
        height measure       3397        789      0.632      0.572      0.612      0.399
             drop ball       3397        830       0.59      0.717      0.613      0.434
          size measure       3397        616      0.686      0.679      0.656      0.489
                record       3397        881      0.768      0.814      0.822      0.666
Speed: 0.1ms preprocess, 4.3ms inference, 0.0ms loss, 0.2ms postprocess per image
Results saved to runs/train/exp7

4.2.best

在这里插入图片描述

val: Scanning /data/RT-DETR/yolo_behavior_Dataset_all5_filter_data_enhance/labels/val.cache... 3397 images, 0 backgrounds, 0 corrupt: 100%|██████████| 3397/3397 [00:00<?,
                 Class     Images  Instances      Box(P          R      mAP50  mAP50-95): 100%|██████████| 850/850 [00:28<00:00, 29.40it/s]
                   all       3397       3832      0.716      0.681      0.687      0.516
                 weigh       3397        716      0.847      0.666      0.723      0.583
        height measure       3397        789      0.663      0.555      0.615      0.401
             drop ball       3397        830        0.6      0.691      0.613      0.436
          size measure       3397        616      0.699      0.672      0.656      0.491
                record       3397        881      0.773      0.818      0.828      0.671
Speed: 0.1ms preprocess, 6.6ms inference, 0.0ms loss, 0.2ms postprocess per image
Results saved to runs/val/exp7

5.RT-DETR-r50-ASF

5.1.last

在这里插入图片描述

rtdetr-r50-ASF summary: 492 layers, 43080031 parameters, 0 gradients, 142.2 GFLOPs
                 Class     Images  Instances      Box(P          R      mAP50  mAP50-95): 100%|██████████| 380/380 [00:19<00:00, 19.52it/s]
                   all       3036       3427      0.743      0.682      0.699      0.548
                 weigh       3036        337      0.768      0.653      0.699      0.552
        height measure       3036        802      0.674      0.519      0.632       0.46
             drop ball       3036        820      0.647      0.728      0.647      0.496
          size measure       3036        601      0.745      0.652       0.65       0.53
                record       3036        867      0.881      0.859      0.867      0.701
Speed: 0.1ms preprocess, 4.8ms inference, 0.0ms loss, 0.2ms postprocess per image

5.2.best

在这里插入图片描述

rtdetr-r50-ASF summary: 492 layers, 43080031 parameters, 0 gradients, 142.2 GFLOPs
val: Scanning /data/RT-DETR/yolo_behavior_Dataset_all2/labels/val.cache... 3036 images, 0 backgrounds, 0 corrupt: 100%|██████████| 3036/3036 [00:00<?, ?it/s]
                 Class     Images  Instances      Box(P          R      mAP50  mAP50-95): 100%|██████████| 759/759 [00:29<00:00, 26.04it/s]
                   all       3036       3427      0.742      0.683      0.699      0.548
                 weigh       3036        337      0.764      0.653      0.699      0.552
        height measure       3036        802      0.679      0.519      0.632       0.46
             drop ball       3036        820      0.644       0.73      0.644      0.494
          size measure       3036        601      0.742      0.652      0.651      0.531
                record       3036        867      0.883      0.859      0.869      0.704
Speed: 0.1ms preprocess, 7.6ms inference, 0.0ms loss, 0.2ms postprocess per image
Results saved to runs/val/exp3

6.RT-DETR-r50-ASF-filter

6.1.last

在这里插入图片描述


rtdetr-r50-ASF summary: 492 layers, 43080031 parameters, 0 gradients, 142.2 GFLOPs
                 Class     Images  Instances      Box(P          R      mAP50  mAP50-95): 100%|██████████| 365/365 [00:18<00:00, 19.78it/s]
                   all       2915       3275      0.732      0.708      0.703       0.53
                 weigh       2915        337      0.674      0.694      0.678      0.538
        height measure       2915        726      0.708      0.535      0.618      0.422
             drop ball       2915        757      0.664       0.81      0.723      0.517
          size measure       2915        589      0.795      0.644      0.644      0.479
                record       2915        866       0.82      0.857      0.853      0.691
Speed: 0.1ms preprocess, 4.8ms inference, 0.0ms loss, 0.2ms postprocess per image
Results saved to runs/train/exp4

6.2.best

在这里插入图片描述

val: Scanning /data/RT-DETR/yolo_behavior_Dataset_all3_filter/labels/val.cache... 2915 images, 0 backgrounds, 0 corrupt: 100%|██████████| 2915/2915 [00:00<?, ?it/s]
                 Class     Images  Instances      Box(P          R      mAP50  mAP50-95): 100%|██████████| 729/729 [00:26<00:00, 27.05it/s]
                   all       2915       3275      0.741      0.696      0.702      0.529
                 weigh       2915        337      0.679      0.685      0.675      0.533
        height measure       2915        726      0.729      0.522       0.62      0.423
             drop ball       2915        757      0.674      0.787       0.72      0.515
          size measure       2915        589      0.802      0.635      0.642      0.478
                record       2915        866      0.823      0.851      0.855      0.693
Speed: 0.1ms preprocess, 7.4ms inference, 0.0ms loss, 0.2ms postprocess per image
Results saved to runs/val/exp4

7.RT-DETR-r50-ASF-filter-data-enhance

7.1.last

在这里插入图片描述

Ultralytics YOLOv8.0.201 🚀 Python-3.8.3 torch-1.9.0+cu111 CUDA:1 (NVIDIA A800 80GB PCIe, 80995MiB)
rtdetr-r50-ASF summary: 492 layers, 43080031 parameters, 0 gradients, 142.2 GFLOPs
                 Class     Images  Instances      Box(P          R      mAP50  mAP50-95): 100%|██████████| 407/407 [00:20<00:00, 19.44it/s]
                   all       3252       3624      0.744      0.693      0.709      0.556
                 weigh       3252        674      0.825      0.709      0.742      0.609
        height measure       3252        726       0.62      0.545       0.61      0.434
             drop ball       3252        758      0.633       0.69      0.639      0.482
          size measure       3252        589      0.794      0.664       0.67      0.527
                record       3252        877      0.847      0.857      0.886      0.728
Speed: 0.1ms preprocess, 4.8ms inference, 0.0ms loss, 0.2ms postprocess per image
Results saved to runs/train/exp6

7.2.best

在这里插入图片描述

rtdetr-r50-ASF summary: 492 layers, 43080031 parameters, 0 gradients, 142.2 GFLOPs
val: Scanning /data/RT-DETR/yolo_behavior_Dataset_all4_data_enhance/labels/val.cache... 3252 images, 0 backgrounds, 0 corrupt: 100%|██████████| 3252/
                 Class     Images  Instances      Box(P          R      mAP50  mAP50-95): 100%|██████████| 813/813 [01:17<00:00, 10.50it/s]
                   all       3252       3624      0.744      0.702      0.711      0.557
                 weigh       3252        674      0.833      0.715      0.746      0.612
        height measure       3252        726      0.615      0.559      0.614      0.435
             drop ball       3252        758      0.634      0.706      0.638       0.48
          size measure       3252        589      0.793      0.672      0.674       0.53
                record       3252        877      0.847       0.86      0.887      0.729
Speed: 0.4ms preprocess, 11.5ms inference, 0.0ms loss, 0.4ms postprocess per image
Results saved to runs/val/exp6

在这里插入图片描述

8.RT-DETR-r50-ASF-filter-data-enhance2

8.1.last

在这里插入图片描述

rtdetr-r50-ASF summary: 492 layers, 43080031 parameters, 0 gradients, 142.2 GFLOPs
                 Class     Images  Instances      Box(P          R      mAP50  mAP50-95): 100%|██████████| 425/425 [00:21<00:00, 19.54it/s]
                   all       3397       3832      0.733      0.707      0.709       0.55
                 weigh       3397        716      0.833      0.702      0.752      0.611
        height measure       3397        789      0.619      0.561      0.602      0.438
             drop ball       3397        830      0.621      0.757      0.662      0.493
          size measure       3397        616      0.755      0.685      0.695      0.517
                record       3397        881      0.836       0.83      0.832      0.689
Speed: 0.1ms preprocess, 4.8ms inference, 0.0ms loss, 0.2ms postprocess per image
Results saved to runs/train/exp8

8.2.best

val: Scanning /data/RT-DETR/yolo_behavior_Dataset_all5_filter_data_enhance/labels/val.cache... 3397 images, 0 backgrounds, 0 corrupt: 100%|██████████| 3397/3397 [00:00<?, ?it/s]
                 Class     Images  Instances      Box(P          R      mAP50  mAP50-95): 100%|██████████| 850/850 [00:31<00:00, 26.84it/s]
                   all       3397       3832       0.73      0.711      0.708      0.549
                 weigh       3397        716      0.834        0.7      0.752      0.609
        height measure       3397        789       0.62      0.572      0.604      0.437
             drop ball       3397        830      0.615       0.76      0.661      0.493
          size measure       3397        616      0.748      0.689      0.693      0.515
                record       3397        881      0.833      0.832      0.832      0.689
Speed: 0.1ms preprocess, 7.5ms inference, 0.0ms loss, 0.2ms postprocess per image
Results saved to runs/val/exp8

在这里插入图片描述

9 YOLOv7

在这里插入图片描述

CSPhD-winston-杨帆
关注
  • 10
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
【RT-DETR有效改进】轻量级视觉变换器RepViT改进特征提取网络（轻量化网络）
Snu77的博客
01-17 1810
本位给大家带来的改进机制是RepViT。它是一种最新发布的网络结构，把轻量级的视觉变换器（就是ViT）的设计理念融入到了我们常用的轻量级卷积神经网络（CNN）里。我尝试把它用在RT-DETR的主干网络上，效果还不错，mAP有一定的提高。我用的是这个网络中最轻量级的版本。我将其用于在我的数据上实验（包含多个类别其中包含大中小多个目标类别），无论哪种目标，精度均有所提升。接下来，我会展示一下原始版本和我改进后版本在训练上的对比图。之后会在文章中介绍该网络结构，然后教大家如何修改该网络结构。
RT-DETR算法优化改进：轻量级改进 | 紧凑反转块（CIB结合RepC3二次创新，来自YOLOv10
05-29 140
计算量比较，rtdetr-l GFLOPs从原始的108.0显著降低至77.1GFLOPs
RT-DETR+auto-train-detect+RTDETR-run
12-21
本文章基于客户一键训练与测试需求，我使用u公司的yolov8集成的RTDETR模型改成较为保姆级的``一键``操作的训练/预测方式，也特别适合新手或想偷懒转换数据格式的朋友们。本文一键体现数据格式为图像与xml，调用train.sh与detect.sh可完成模型的训练与预测。而为完成该操作，模型内嵌入xml转RTDETR的txt格式、自动分配训练/验证集、自动切换环境等内容。接下来，我将介绍如何操作，并附修改源码。 本文一个目的，傻瓜式训练与预测，通过sh脚本实现3个任务， ①、虚拟环境自动切换 ②、数据格式自动转换，输入为图像文件与对应xml文件自动完成rtdetr模型训练与预测数据格式 ③、模型自动训练与预测，且只需执行sh train.sh或 sh detect.sh即可实现
目标检测+PaddleDetection+rt-detr运行代码
06-28
该代码是百度的PaddleDetection代码，包含rt-detr配置文件和相关代码，可以直接用来测试
OpenVINO~RT-DETR模型INT8推理
whaosoft143ai的博客
12-16 56
在本文中，我们基于OpenVINO下的模型优化工具NNCF，实现了RT-DETR模型的INT8量化，并且在损失极少的精度代价下，实现了模型推理速度提升3~4倍左右，模型大小将为原来的1/4，即提升了模型的推理速度，又降低了模型推理占用内存，这对在边缘设备部署具有十分重要的意义。上图中是打印的模型量化前后的预测精度情况，为了更好的查看量化前后精度变化，此处绘制了柱状图，如下图所示，通过该柱状图可以看出，模型在量化前后，模型预测精度存在较小的下降，但也满足我们的模型量化需求。对于类初始化，应该提供配置。
【OpenVINO】使用OpenVINO实现 RT-DETR 模型 INT8量化推理加速
grape_yan的博客
12-13 1308
我们基于OpenVINO下的模型优化工具NNCF，实现了RT-DETR模型的INT8量化，并且在损失极少的精度代价下，实现了模型推理速度提升3~4倍左右，模型大小将为原来的1/4，即提升了模型的推理速度，又降低了模型推理占用内存，这对在边缘设备部署具有十分重要的意义。
YOLOV8V10改进系列指南
热门推荐
qq_37706472的博客
02-19 4万+
YOLOV8V10改进系列指南，仅仅69.9包含YOLOV8、YOLOV10的两个主流模型改进方案、含有170+种改进的集合，且含有多种二次创新和原创改进！
RT-DETR算法优化改进:Powerful-IoU更好、更快的收敛IoU | 2024年最新IoU
01-26 958
Powerful-IoU更好、更快的收敛IoU，是一种结合了目标尺寸自适应惩罚因子和基于锚框质量的梯度调节函数的损失函数
RT-DETR改进策略：基于频域多轴表示学习模块|注意力改进，Block改进|全网首发|高效涨点|代码注释详解
m0_47867638的博客
01-16 1101
医学图像分割（MIS）具有巨大的实用价值，因为它可以帮助相关医务人员定位病变区域，提高临床治疗的效率。近年来，基于U-shape架构的编码器-解码器模型UNet被广泛应用于MIS，因为它具有较强的可扩展性。因此，基于U-shape架构的研究有很多，如UNet++（Zhou等，2018），它通过引入密集连接减少了编码器和解码器之间的语义鸿沟。此外，Att-UNet（Oktay等，2018）引入了门控机制，使模型能够专注于特定的目标。
rt-detr目标检测+python+tensorRT推理代码
06-28
该代码实现rt-detr的部署，使用python，调用tensorRT转换后的模型，实现单张图片或者图片文件夹批量推理，代码输入图片/文件夹路径，模型路径，输出图片保存路径，运行命令python ./infer_tensorrt.py --infer_dir=....
算法部署-基于C++和Python使用ONNXRuntime部署RT-DETR目标检测算法-附项目源码-优质项目实战.zip
05-12
在这个项目中，我们将深入探讨如何使用C++和Python结合ONNXRuntime来部署RT-DETR目标检测算法。RT-DETR（Real-Time DETR）是一种高效的目标检测模型，它基于DETR（DEtection TRansformer），但进行了优化以提高推理...
算法部署-使用TensorRT部署RT-DETR目标检测算法-优质算法部署项目实战.zip
03-06
在本项目实战中，我们将深入探讨如何利用TensorRT来部署RT-DETR目标检测算法，以实现高效且高质量的算法部署。TensorRT是一款由NVIDIA开发的高性能深度学习推理（Inference）优化器和运行时，它能为深度学习模型提供...
开发者实战 | 使用 OpenVINO™ 实现 RT-DETR 模型 INT8 量化推理加速
OpenVINOCC的博客
11-29 136
点击蓝字关注我们,让开发变得更有趣作者：颜国进英特尔边缘计算创新大使RT-DETR 是在 DETR 模型基础上进行改进的，一种基于DETR架构的实时端到端检测器，它通过使用一系列新的技术和算法，实现了更高效的训练和推理，在前文我们发表了《基于OpenVINO™Python API部署RT-DETR模型|开发者实战》、《基于OpenVINO™C++ API部署RT-DE...
深度学习纯小白如何从零开始写第一篇论文？看完这篇豁然开朗！
路人贾的博客
10-09 1万+
全网最详细的深度学习论文写作攻略，上万字的含泪总结！小白写论文，看这一篇就够啦！
【YOLOv8系列】图像分类篇----通过YOLOv8实现图像分类功能
AnChenliang_1002的博客
07-24 101
最近需要使用YOLOv8实现图像分类的功能，因此记录一下整个过程。
YOLO训练触发早停
最新发布
weixin_52236586的博客
07-25 313
日志：or use。
YOLO训练过程日志，数值都小于1原因？
weixin_52236586的博客
07-24 378
在YOLO等目标检测模型中，总损失是多个损失项的组合。通常，总损失会进行归一化以平衡各个损失项的影响。这种组合的归一化处理通常会使总损失值较小，但它提供了一个有效的衡量标准来评估模型的整体性能。总之，损失值小于1是正常的，归一化处理是为了确保训练过程中的稳定性和有效性。关注损失值的变化趋势比关注绝对值更为重要，这样可以更好地了解模型的训练情况。如果你的YOLOv5训练日志显示损失值如。
基于YOLO8的目标检测系统：开启智能视觉识别之旅
weixin_44063529的博客
07-19 1733
在人工智能和机器学习的浪潮中，YOLO8作为目标检测领域的一颗新星，以其卓越的性能和灵活性，受到了广泛关注。本项目基于YOLO8算法，构建了一个高效、易用的目标检测系统，旨在为用户提供一个强大的本地部署解决方案。
RT-DETR yolov8
12-02
很抱歉，没有找到RT-DETR yolov8的相关信息。RT-DETR和YOLO是两种不同的目标检测算法，RT-DETR是基于Transformer的目标检测算法，而YOLO是基于深度学习的目标检测算法。虽然RT-DETR在某些方面可能超越了YOLO，但它们的实现方式和原理都不同。如果您有关于RT-DETR或YOLO的更具体问题，我可以帮您解答。 --相关问题--: 1. RT-DETR和YOLO的原理和实现方式有什么不同？ 2
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值