【超详细】DEIM:最强实时目标检测算法-Visdrone2019无人机数据集实战

主要内容如下:

一、论文解析
二、基于DEIM-D-FINE-S训练Visdrone2019无人机数据集
1、Visdrone2019数据集介绍
2、模型训练、验证及测试
3、onnx导出与测试
4、与YOLOv8\11进行结果对比

服务器:NVIDIA RTX4090 24G
运行环境:Python=3.8(要求>=3.8),torch2.3.1+cu121(要求>=2.0.1)
Visdrone2019-COCO格式数据集百度AI stduio下载链接https://aistudio.baidu.com/datasetdetail/226107/0
Visdrone-YOLO格式数据集下载链接https://aistudio.baidu.com/datasetdetail/295374

arXiv: https://arxiv.org/abs/2412.04234
Project webpagehttps://www.shihuahuang.cn/DEIM/
GitHubhttps://github.com/ShihuaHuang95/DEIM

训练和使用结果
(1)map50高于YOLOv8将近6个点达47%,训练显存占用较大,batchsize为8需要20G,训练速度比YOLOv8慢一倍,12小时左右;
(2)onnx推理速度要慢于YOLOv8,需要9-10ms;
(3)检出率比较高,但是误检和同一个目标出现两个重叠框但不同类别现象较多。

一、论文解析

DEIM(DETR with Improved Matching for Fast Convergence)是一篇关于加速基于Transformer架构(DETR)的实时目标检测的训练框架的论文。以下是该论文的详细解析:

1 研究背景

目标检测是计算机视觉中的一个基本任务,广泛应用于自动驾驶、机器人导航等领域。实时目标检测要求模型不仅能精准检测目标,还要以极低的延迟运行。DETR(Detection Transformer)是一种基于Transformer的端到端目标检测框架,通过使用匈牙利算法进行一对一(O2O)匹配,消除了对手工设计的非极大值抑制(NMS)的需求,但其收敛速度慢成为一大挑战。

2 研究问题

DETR模型在训练过程中存在慢收敛的问题,主要原因是其一对一(O2O)匹配机制导致正样本数量稀少,且存在大量低质量匹配。这限制了模型的有效学习,尤其是对小目标的检测。

3 解决方案

为了解决上述问题,DEIM提出了以下两个主要策略:

密集O2O匹配(Dense O2O)
通过增加每张图像中的目标数量,生成更多的正样本,从而提供更密集的监督信号,加速模型收敛。
这可以通过经典的数据增强技术(如马赛克和混合)轻松实现,这些技术在保持一对一匹配框架的同时,每张图像生成额外的正样本。
匹配感知损失(MAL, Matchability-Aware Loss)
一种新的损失函数,优化不同质量级别的匹配,特别是低质量匹配,提升模型性能。
MAL通过将匹配查询与目标之间的IoU(交并比)与分类置信度结合,根据匹配质量调整惩罚。
相比传统的Varifocal Loss(VFL),MAL在处理低质量匹配时更有效,特别是在训练的早期阶段。
在这里插入图片描述

4 实验验证

在COCO数据集上的实验表明,DEIM显著加速了DETR模型的收敛,减少了50%的训练时间,同时提升了检测精度。与现有的实时检测器(如YOLO系列和RT-DETR)相比,DEIM在性能和训练效率上均表现出色,尤其是在小目标检测方面有显著提升。

当与RT-DETR和D-FINE集成时,DEIM在减少训练时间的同时提高了性能。
特别是与RT-DETRv2集成时,DEIM在NVIDIA 4090 GPU上单天训练就达到了53.2%的平均精度(AP)。
在这里插入图片描述
DEIM训练的实时模型在没有额外数据的情况下,超越了领先的实时目标检测器。例如,DEIM-D-FINE-LDEIM-D-FINE-X在NVIDIA T4 GPU上分别以124 FPS和78 FPS的速度达到了54.7%和56.5%的AP。
在这里插入图片描述
在这里插入图片描述

5 结论

DEIM通过密集O2O匹配和匹配感知损失,有效解决了DETR模型的慢收敛问题,提升了实时目标检测的性能,为该领域设定了新的基准。DEIM通过增加正样本数量和优化低质量匹配,显著提升了DETR模型的训练效率和检测性能。

二、基于DEIM-D-FINE-S训练Visdrone2019无人机数据集

1 环境安装

步骤1:创建环境

conda create -n deim python=3.8.13

步骤2:安装torch
版本:要求大于2.0.1,这里安装2.3.1

# CUDA 11.8
conda install pytorch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 pytorch-cuda=11.8 -c pytorch -c nvidia
# CUDA 12.1
conda install pytorch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 pytorch-cuda=12.1 -c pytorch -c nvidia
# CPU Only
conda install pytorch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 cpuonly -c pytorch

步骤3:安装deim其他依赖
注意:calflops安装或训练报错可见文末尾。

conda activate deim
pip install -r requirements.txt

2 Visdrone2019数据集准备

2.1 简介

VisDrone数据集是由天津大学等团队开源的一个大型无人机视角的数据集,官方提供的数据中训练集是6471、验证集是548、测试集1610张。数据集共提供了以下12个类,分别是:‘忽略区域’, ‘pedestrian’, ‘people’, ‘bicycle’, ‘car’, ‘van’,‘truck’, ‘tricycle’, ‘awning-tricycle’, ‘bus’, ‘motor’, ‘others’,其中忽略区域、others是非有效目标区域,本项目中予以忽略,只使用’pedestrian’, ‘people’, ‘bicycle’, ‘car’, ‘van’,‘truck’, ‘tricycle’, ‘awning-tricycle’, ‘bus’, 'motor’10个类

2.2 数据集制作

注意:这里直接下载已处理好的coco格式的Visdrone2019数据集进行训练,同时注意该数据集图片命名已改变,但其他无影响。
下载链接Vidrone2019-COCO格式数据集

3 配置文件修改

3.1 数据集配置文件修改

新建DEIM-main/configs/dataset/custom_xulvisdrone.yml文件,内容如下:
注意修改项:类别num_classes、训练集图像路径img_folder、训练集coco标签ann_file、验证集图像路径img_folder、验证集coco标签ann_file四项。
另外,验证测试集精度修改验证集图像路径img_folder、验证集coco标签ann_file两项即可。

task: detection

evaluator:
  type: CocoEvaluator
  iou_types: ['bbox', ]

num_classes: 10 # your dataset classes
remap_mscoco_category: False

train_dataloader:
  type: DataLoader
  dataset:
    type: CocoDetection
    img_folder: DEIM-main/visdrone2019_coco/train2017
    ann_file: DEIM-main/visdrone2019_coco/annotations/instances_train2017.json
    return_masks: False
    transforms:
      type: Compose
      ops: ~
  shuffle: True
  num_workers: 4
  drop_last: True
  collate_fn:
    type: BatchImageCollateFunction


val_dataloader:
  type: DataLoader
  dataset:
    type: CocoDetection
    img_folder: DEIM-main/visdrone2019_coco/val2017
    ann_file: DEIM-main/visdrone2019_coco/annotations/instances_val2017.json
    return_masks: False
    transforms:
      type: Compose
      ops: ~
  shuffle: False
  num_workers: 4
  drop_last: False
  collate_fn:
    type: BatchImageCollateFunction

3.2 训练过程配置参数修改

注意:这边训练configs/deim_dfine/deim_hgnetv2_s_coco.yml,它是层层调用其他配置文件,优先采用configs/deim_dfine/dfine_hgnetv2_s_coco.yml和configs/base/deim.yml内容。
在这里插入图片描述
所有具体步骤如下:【默认640训练只需修改步骤二和步骤四】
步骤一:保存路径+epoch设置
configs/deim_dfine/deim_hgnetv2_s_coco.yml修改epoch和保存路径等参数,默认132epoch;
在这里插入图片描述
步骤二:设置自定义数据集
configs/deim_dfine/dfine_hgnetv2_s_coco.yml修改自定义数据集文件调用,如下:
在这里插入图片描述
步骤三:训练尺寸
configs/base/deim.yml修改训练尺寸,默认640,Mosaic尺寸设置【切成4块】:
在这里插入图片描述
步骤四:batch_size设置
configs/base/dataloader.yml修改total_batch_size【由原先32改为8】,640*640大概需要20G显存。
在这里插入图片描述

4 模型训练

这里仅训练deim_dfine-s模型,模型输入尺寸640*640,训练132轮,且利用官网coco预训练权重进行微调!
在这里插入图片描述
训练命令如下

# deim_dfine_hgnetv2_s_coco_120e.pth为coco预训练权重
python train.py -c configs/deim_dfine/deim_hgnetv2_s_coco.yml --use-amp --seed=0 -t deim_dfine_hgnetv2_s_coco_120e.pth

训练中,可利用tensorboard --logdir=outputs/deim_hgnetv2_s_coco/summary终端运行可视化训练过程,summary中包含一个events.out.tfevents.xxx文件。将下面的网页用谷歌浏览器打开,如果没有内容大概率是路径错误。
在这里插入图片描述
可视化结果如下
在这里插入图片描述

5 模型验证

对数据集进行验证的命令依然是train.py,启用–test-only参数仅验证不训练。
验证的命令如下

# best_stg2.pth为训练132轮最佳map50:95的精度权重
python train.py -c configs/deim_dfine/deim_hgnetv2_s_coco.yml --test-only -r outputs/deim_hgnetv2_s_coco/best_stg2.pth

5.1 maxDets=100验证

Visdrone数据集验证结果如下【maxDets=100】,map50=0.474
在这里插入图片描述
Visdrone数据集测试集结果如下【maxDets=100】,map50=0.396
在这里插入图片描述

5.2 maxDets=300验证

maxDets:该指标的意思是分别保留测试集的每张图上置信度排名第1、前10、前100个预测框,根据这些预测框和真实框进行比对,来计算AP、AR等值。但是,在WidePerson等密集目标数据集中,尽管绝大部分图片中目标的数量在100以内,但却存在某些图片中包含近200个目标,那么我们再使用maxDets=100就不符合要求了,因此改成300进行验证测试。
修改:前往环境中faster_coco_eva依赖包进行修改,改一行即可:
anaconda3/envs/yolov7/lib/python3.8/site-packages/faster_coco_eval/core/cocoeval.py
在这里插入图片描述
Visdrone数据集验证结果如下【maxDets=300】,map50=0.475
在这里插入图片描述
Visdrone数据集测试集结果如下【maxDets=300】,map50=0.397
在这里插入图片描述

6 模型测试

测试的命令如下

python tools/inference/torch_inf.py -c configs/deim_dfine/deim_hgnetv2_s_coco.yml -r outputs/deim_hgnetv2_s_coco/best_stg2.pth --input visdrone2019_coco/images/test/0000006_00159_d_0000001.jpg --device cuda:0

注意:原代码不带类别,只有索引,可自己在绘图时自行加入!
结果可视化如下,置信度阈值0.4
在这里插入图片描述

7 onnx推理与可视化

注意:需安装onnx和onnxruntime等.

pip install onnx==1.14.1 -i  https://pypi.tuna.tsinghua.edu.cn/simple
pip install onnxruntime-gpu==1.18.1 -i  https://pypi.tuna.tsinghua.edu.cn/simple

7.1 导出onnx

python tools/deployment/export_onnx.py -c configs/deim_dfine/deim_hgnetv2_s_coco.yml -r outputs/deim_hgnetv2_s_coco/best_stg2.pth

利用netron打开,显示如下
在这里插入图片描述

7.2 运行官方的onnx推理脚本

注意:结果与pth存在偏差,可能是预处理影响。

python tools/inference/onnx_inf.py --onnx outputs/deim_hgnetv2_s_coco/best_stg2.onnx --input visdrone2019_coco/images/test/0000006_00159_d_0000001.jpg

可视化如下:onnx(左)、pth(右)
在这里插入图片描述

7.3 运行自定义onnx推理脚本

注意:该脚本无torch,只包含numpy、opencv和onnxruntime三个依赖。
推理速度如下
在这里插入图片描述

8 与YOLOv8\11结果比较

Visdrone2019实验结果对比如下
在这里插入图片描述

9 报错信息

报错1:RuntimeError: CUDA error: device-side assert triggered
原因:数据集配置有误,导致类别id与yaml文件中的索引号匹配不上导致的,这边自定义数据集要求ID索引从0开始,如10个类,则对应0-9。

报错2:Could not load library 2 libcudnn cnn train.so.8. Error. /usr/local/cuda-12.1/lib64/ibcudnn cnn train.so.8: undefined symbol
原因:安装calflops会携带装nvidia-cudnn-cu12,而环境nvidia-cudnn-cu12容易与系统的cudnn冲突导致报错。所以要么把系统里面的cudnn去掉(不推荐,如果部署其他的如Tensor t时会出现问题,反而更麻烦)。要么把虚拟环境中的cudnn去掉(推荐),如pip uninstall nvidia-cudnn-cu12。

报错3:ModuleNotFoundError: No module named ‘calflops’
原因:与报错2冲突,因此我们将engine/misc/profiler_utils.py相关内容注释,该calflops仅计算FLOPs等功能。
在这里插入图片描述

03-13
### DEIM 定义 离散经验插值方法(Discrete Empirical Interpolation Method,简称 DEIM)是一种用于高效近似非线性函数的技术[^1]。它通过选取一组特定的基向量并对其进行稀疏化操作,在保持较高精度的前提下显著降低计算复杂度。 DEIM 的核心思想在于利用低秩分解技术提取主要特征,并结合插值矩阵实现快速逼近。这种方法特别适用于涉及大规模矩阵运算的任务,例如科学计算中的偏微分方程求解以及机器学习领域内的优化问题。 --- ### 技术应用 #### 实时目标检测 在计算机视觉领域,DEIM 被成功应用于改进 DETR(Detection Transformer)模型的表现[^2]。具体而言: - **性能提升**:当与 RT-DETR 或 D-FINE 集成时,DEIM 不仅减少了训练时间,还提升了最终模型的检测精度。 - **硬件效率**:实验表明,在 NVIDIA 4090 GPU 上运行一天即可达到 53.2% 的 AP;而在较低端的 T4 GPU 上,实时版本仍能以超过百帧每秒的速度维持较高的检测质量。 这些特性使得 DEIM 成为了新一代轻量化、高性能目标检测框架的重要组成部分之一。 #### 训练加速与资源节约 通过对匹配机制进行改良,DEIM 提供了一种更快收敛的方法——即“DETR with Improved Matching for Fast Convergence”,从而有效降低了传统 DETR 存在的长时间预热期问题[^4]。此外,由于其高效的内存管理和算力分配能力,在实际部署过程中也展现出极佳的成本效益比。 #### 自动驾驶场景下的优势 考虑到现代工业应用场景如自动驾驶汽车感知系统的需求,DEIM 所具备的优势尤为突出: - 更短的学习周期意味着可以更迅速地适应新环境变化; - 较高的预测准确率有助于提高行车安全性; - 减少不必要的后处理步骤(比如 NMS),进一步简化整体架构设计思路。 以下是基于 PyTorch 构建的一个简单推理脚本实例,展示如何加载经过 DEIM 增强后的模型来进行图像分类或物体识别任务: ```python import torch from torchvision import transforms from models.deim_model import DEIMModel # 假设这是自定义模块路径 def load_model(model_path): model = DEIMModel() checkpoint = torch.load(model_path) model.load_state_dict(checkpoint['state_dict']) return model.eval() transform = transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), ]) image_tensor = transform(image).unsqueeze_(0) model = load_model('deim_best.pth') output = model(image_tensor) ``` 上述代码片段假设存在名为 `models/deim_model.py` 文件定义了一个继承自 nn.Module 类别的类代表我们的神经网络结构体. --- ### 总结评价 综上所述,无论是理论层面还是工程实践角度出发,都可以看出 DEIM 方法具有广泛的应用前景和发展潜力。特别是在当前 AI 行业追求更高效率更低能耗的大背景下,此类技术创新无疑将推动整个行业向前迈进一大步[^3]. ---
评论 21
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值