RT-DETR训练自己的数据集(从代码下载到实例测试)

前言

提示:本文是RT-DETR训练自己数据集的记录教程,需要大家在本地已配置好CUDA,cuDNN等环境,没配置的小伙伴可以查看我的往期博客:在Windows10上配置CUDA环境教程

RT-DETR(Real-Time Detection Transformer)是百度提出的一种实时目标检测模型。RT-DETR 采用了与 DETR 相同的编码器和解码器结构,但对其进行了大量的优化,在保持较高检测精度的同时,实现了实时目标检测,为目标检测领域提供了一种新的有效解决方案,具有广泛的应用前景,如自动驾驶、智能监控、机器人等领域。

在这里插入图片描述

论文地址:https://arxiv.org/abs/2304.08069
代码地址:https://github.com/lyuwenyu/RT-DETR

以上是RT-DETR官方的论文和代码,详细介绍了RT-DETR的构成和实现。在Ultralytics中也实现了RT-DETR的代码,所以本文使用Ultralytics官方的项目文件进行RT-DETR的训练和测试。Ultralytics的源码地址为:

代码地址:https://github.com/ultralytics/ultralytics

在这里插入图片描述


一、RT-DETR简介

核心设计

  • 采用Transformer结构RT-DETR 采用了与 DETR 相同的编码器和解码器结构,但对其进行了大量的优化。编码器用于对输入图像进行特征提取,解码器则用于预测目标的类别、位置和边界框等信息。
  • 优化计算成本:使用了更小的特征图来减少计算成本,并且使用更少的注意力头,以减少模型中的参数数量。此外,还引入了一种新的分组注意力机制,可以进一步提高性能。
  • 高效的混合编码器
    • 解耦内部尺度交互和跨尺度融合:设计了高效的混合编码器(Hybrid Encoder),通过解耦尺度内特征交互(AIFI)跨尺度特征融合(CCFM),能够高效地处理多尺度特征。其中 AIFI 基于注意力机制实现尺度内特征交互,CCFM 则基于 CNN 进行跨尺度特征融合,这样可以更好地捕捉不同尺度下的目标信息,同时降低计算复杂度。
  • IOU感知的查询选择
    • 改进目标查询初始化:提出了 IOU 感知的查询选择(IOU-aware Query Selection)方法,以改进目标查询的初始化。传统的查询选择方式可能忽略了检测器需要同时对对象的类别和位置进行建模的事实,而该方法显式地构建和优化认知不确定性,对编码器特征的联合潜在变量进行建模,从而为解码器提供高质量(高分类分数和高 IOU 分数)的初始查询,有助于提高检测的准确性。

二、环境搭建

在配置好CUDA环境,并且获取到RT-DETR源码后,建议新建一个虚拟环境专门用于RT-DETR模型的训练。将RT-DETR加载到环境后,安装剩余的包。

三、构建数据集

RT-DETR模型的训练需要原图像及对应的YOLO格式标签,还未制作标签的可以参考我这篇文章:LabelImg安装与使用教程

我的原始数据存放在根目录的data文件夹(新建的)下,里面包含图像和标签。
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
标签内的格式如下:
在这里插入图片描述
具体格式为 class_id x y w h,分别代表物体类别,标记框中心点的横纵坐标(x, y),标记框宽高的大小(w, h),且都是归一化后的值,图片左上角为坐标原点。

将原本数据集按照8:1:1的比例划分成训练集、验证集和测试集三类,划分代码如下。

# 将图片和标注数据按比例切分为 训练集和测试集
import shutil
import random
import os
 
# 原始路径
image_original_path = "data/images/"
label_original_path = "data/labels/"
 
cur_path = os.getcwd()
# 训练集路径
train_image_path = os.path.join(cur_path, "datasets/images/train/")
train_label_path = os.path.join(cur_path, "datasets/labels/train/")
 
# 验证集路径
val_image_path = os.path.join(cur_path, "datasets/images/val/")
val_label_path = os.path.join(cur_path, "datasets/labels/val/")
 
# 测试集路径
test_image_path = os.path.join(cur_path, "datasets/images/test/")
test_label_path = os.path.join(cur_path, "datasets/labels/test/")
 
# 训练集目录
list_train = os.path.join(cur_path, "datasets/train.txt")
list_val = os.path.join(cur_path, "datasets/val.txt")
list_test = os.path.join(cur_path, "datasets/test.txt")
 
train_percent = 0.8
val_percent = 0.1
test_percent = 0.1
 
 
def del_file(path):
    for i in os.listdir(path):
        file_data = path + "\\" + i
        os.remove(file_data)
 
 
def mkdir():
    if not os.path.exists(train_image_path):
        os.makedirs(train_image_path)
    else:
        del_file(train_image_path)
    if not os.path.exists(train_label_path):
        os.makedirs(train_label_path)
    else:
        del_file(train_label_path)
 
    if not os.path.exists(val_image_path):
        os.makedirs(val_image_path)
    else:
        del_file(val_image_path)
    if not os.path.exists(val_label_path):
        os.makedirs(val_label_path)
    else:
        del_file(val_label_path)
 
    if not os.path.exists(test_image_path):
        os.makedirs(test_image_path)
    else:
        del_file(test_image_path)
    if not os.path.exists(test_label_path):
        os.makedirs(test_label_path)
    else:
        del_file(test_label_path)
 
 
def clearfile():
    if os.path.exists(list_train):
        os.remove(list_train)
    if os.path.exists(list_val):
        os.remove(list_val)
    if os.path.exists(list_test):
        os.remove(list_test)
 
 
def main():
    mkdir()
    clearfile()
 
    file_train = open(list_train, 'w')
    file_val = open(list_val, 'w')
    file_test = open(list_test, 'w')
 
    total_txt = os.listdir(label_original_path)
    num_txt = len(total_txt)
    list_all_txt = range(num_txt)
 
    num_train = int(num_txt * train_percent)
    num_val = int(num_txt * val_percent)
    num_test = num_txt - num_train - num_val
 
    train = random.sample(list_all_txt, num_train)
    # train从list_all_txt取出num_train个元素
    # 所以list_all_txt列表只剩下了这些元素
    val_test = [i for i in list_all_txt if not i in train]
    # 再从val_test取出num_val个元素,val_test剩下的元素就是test
    val = random.sample(val_test, num_val)
 
    print("训练集数目:{}, 验证集数目:{}, 测试集数目:{}".format(len(train), len(val), len(val_test) - len(val)))
    for i in list_all_txt:
        name = total_txt[i][:-4]
 
        srcImage = image_original_path + name + '.jpg'
        srcLabel = label_original_path + name + ".txt"
 
        if i in train:
            dst_train_Image = train_image_path + name + '.jpg'
            dst_train_Label = train_label_path + name + '.txt'
            shutil.copyfile(srcImage, dst_train_Image)
            shutil.copyfile(srcLabel, dst_train_Label)
            file_train.write(dst_train_Image + '\n')
        elif i in val:
            dst_val_Image = val_image_path + name + '.jpg'
            dst_val_Label = val_label_path + name + '.txt'
            shutil.copyfile(srcImage, dst_val_Image)
            shutil.copyfile(srcLabel, dst_val_Label)
            file_val.write(dst_val_Image + '\n')
        else:
            dst_test_Image = test_image_path + name + '.jpg'
            dst_test_Label = test_label_path + name + '.txt'
            shutil.copyfile(srcImage, dst_test_Image)
            shutil.copyfile(srcLabel, dst_test_Label)
            file_test.write(dst_test_Image + '\n')
 
    file_train.close()
    file_val.close()
    file_test.close()

 
if __name__ == "__main__":
    main()

划分完成后将会在datasets文件夹下生成划分好的文件,其中images为划分后的图像文件,里面包含用于train、val、test的图像,已经划分完成;labels文件夹中包含划分后的标签文件,已经划分完成,里面包含用于train、val、test的标签;train.tet、val.txt、test.txt中记录了各自的图像路径。

在这里插入图片描述

在这里插入图片描述
在训练过程中,也是主要使用这三个txt文件进行数据的索引。

四、修改配置文件

①数据集文件配置

数据集划分完成后,在根目录文件夹下新建data.yaml文件,替代coco.yaml。用于指明数据集路径和类别,我这边只有一个类别,只留了一个,多类别的在name内加上类别名即可。data.yaml中的内容为:

path: ../datasets  # 数据集所在路径
train: train.txt  # 数据集路径下的train.txt
val: val.txt  # 数据集路径下的val.txt
test: test.txt  # 数据集路径下的test.txt

# Classes
names:
  0: wave

在这里插入图片描述

②模型文件配置

ultralytics/cfg/models/rt-detr文件夹下存放的是RT-DETR的各个版本的模型配置文件,检测的类别是coco数据的80类。在训练自己数据集的时候,只需要将其中的类别数修改成自己的大小。在根目录文件夹下新建rtdetr-l-test.yaml文件,此处以rtdetr-l.yaml文件中的模型为例,将其中的内容复制到rtdetr-l-test.yaml文件中 ,并将nc: 1 # number of classes 修改类别数` 修改成自己的类别数,如下:

在这里插入图片描述

在这里插入图片描述

# Ultralytics YOLO 🚀, AGPL-3.0 license
# RT-DETR-l object detection model with P3-P5 outputs. For details see https://docs.ultralytics.com/models/rtdetr

# Parameters
nc: 1 # number of classes
scales: # model compound scaling constants, i.e. 'model=yolov8n-cls.yaml' will call yolov8-cls.yaml with scale 'n'
  # [depth, width, max_channels]
  l: [1.00, 1.00, 1024]

backbone:
  # [from, repeats, module, args]
  - [-1, 1, HGStem, [32, 48]] # 0-P2/4
  - [-1, 6, HGBlock, [48, 128, 3]] # stage 1

  - [-1, 1, DWConv, [128, 3, 2, 1, False]] # 2-P3/8
  - [-1, 6, HGBlock, [96, 512, 3]] # stage 2

  - [-1, 1, DWConv, [512, 3, 2, 1, False]] # 4-P3/16
  - [-1, 6, HGBlock, [192, 1024, 5, True, False]] # cm, c2, k, light, shortcut
  - [-1, 6, HGBlock, [192, 1024, 5, True, True]]
  - [-1, 6, HGBlock, [192, 1024, 5, True, True]] # stage 3

  - [-1, 1, DWConv, [1024, 3, 2, 1, False]] # 8-P4/32
  - [-1, 6, HGBlock, [384, 2048, 5, True, False]] # stage 4

head:
  - [-1, 1, Conv, [256, 1, 1, None, 1, 1, False]] # 10 input_proj.2
  - [-1, 1, AIFI, [1024, 8]]
  - [-1, 1, Conv, [256, 1, 1]] # 12, Y5, lateral_convs.0

  - [-1, 1, nn.Upsample, [None, 2, "nearest"]]
  - [7, 1, Conv, [256, 1, 1, None, 1, 1, False]] # 14 input_proj.1
  - [[-2, -1], 1, Concat, [1]]
  - [-1, 3, RepC3, [256]] # 16, fpn_blocks.0
  - [-1, 1, Conv, [256, 1, 1]] # 17, Y4, lateral_convs.1

  - [-1, 1, nn.Upsample, [None, 2, "nearest"]]
  - [3, 1, Conv, [256, 1, 1, None, 1, 1, False]] # 19 input_proj.0
  - [[-2, -1], 1, Concat, [1]] # cat backbone P4
  - [-1, 3, RepC3, [256]] # X3 (21), fpn_blocks.1

  - [-1, 1, Conv, [256, 3, 2]] # 22, downsample_convs.0
  - [[-1, 17], 1, Concat, [1]] # cat Y4
  - [-1, 3, RepC3, [256]] # F4 (24), pan_blocks.0

  - [-1, 1, Conv, [256, 3, 2]] # 25, downsample_convs.1
  - [[-1, 12], 1, Concat, [1]] # cat Y5
  - [-1, 3, RepC3, [256]] # F5 (27), pan_blocks.1

  - [[21, 24, 27], 1, RTDETRDecoder, [nc]] # Detect(P3, P4, P5)


修改完成后,模型文件就配置好啦。

③训练文件配置

项目的超参数配置在ultralytics/cfg文件夹下的default.yaml文件中

在这里插入图片描述

在模型训练中,比较重要的参数是weights、data、epochs、batch、imgsz、device以及workers。

  • weight是配置预训练权重的路径,可以指定模型的yaml文件或pt文件。

  • data是配置数据集文件的路径,用于指定自己的数据集yaml文件。

  • epochs指训练的轮次,默认是100次,只要模型能收敛即可。

  • batch是表示一次性将多少张图片放在一起训练,越大训练的越快,如果设置的太大会报OOM错误,我这边在default中设置16,表示一次训练16张图像。设置的大小为2的幂次,1为2的0次,16为2的4次。

  • imgsz表示送入训练的图像大小,会统一进行缩放。要求是32的整数倍,尽量和图像本身大小一致。

  • device指训练运行的设备。该参数指定了模型训练所使用的设备,例如使用 GPU 运行可以指定为device=0,或者使用多个 GPU 运行可以指定为 device=0,1,2,3,如果没有可用的 GPU,可以指定为 device=cpu 使用 CPU 进行训练。

  • workers是指数据装载时cpu所使用的线程数,默认为8,过高时会报错:[WinError 1455] 页面文件太小,无法完成操作,此时就只能将workers调成0了。

模型训练的相关基本参数就是这些啦,其余的参数可以等到后期训练完成进行调参时再详细了解。

五、模型训练和测试

模型训练

由于项目中未提供单独的训练程序用于训练,而只是使用命令行进行训练,此处提供两种训练方法,一是在终端使用命令行进行训练;二是新建训练程序,配置参数进行训练。

(1)、在终端使用命令行进行训练

打开终端或新建终端后,输入命令:

yolo detect train data=data.yaml model=rtdetr-l-test.yaml epochs=300 batch=16 imgsz=640 device=0 workers=8

(2)、新建训练程序,配置参数进行训练

在项目根目录下新建train.py文件,输入以下内容后运行当前文件即可开始训练。

from ultralytics.models import RTDETR
 
if __name__ == '__main__':
    model = RTDETR(model='rtdetr-l-test.yaml')
    model.train(pretrained=True, data='data.yaml', epochs=300, batch=32, device=0, imgsz=640, workers=8)

在这里插入图片描述

在这里插入图片描述

训练完成后,将会在runs/detect/train/exp/weights文件夹下存放训练后的权重文件。

模型测试

(1)、在终端使用命令行进行测试

打开终端或新建终端后,输入命令:

yolo detect val data=data.yaml model=runs/detect/train/exp/weights/best.pt, batch=32, imgsz=640, split=test, device=0, workers=8

(2)、新建训练程序,配置参数进行训练

在项目根目录下新建val.py文件,输入以下内容后运行当前文件即可开始测试。

from ultralytics.models import RTDETR
 
 
if __name__ == '__main__':
    model = RTDETR(model='runs/train/exp/weights/best.pt')
    model.val(data='data.yaml',batch=32, device='0', imgsz=640, workers=8, split='test')

模型推理

在根目录新建detect.py,输入以下代码:

import warnings
warnings.filterwarnings('ignore')
from ultralytics import RTDETR
 
if __name__ == '__main__':
    model = RTDETR('runs/train/exp/weights/best.pt')
    model.predict(source='images',
                imgsz=640,
                device='0',
                save=True
                )

在推理阶段,mode模式为预测,mode= predict,模型使用训练完成的权重文件:runs/train/exp/weights/best.ptsource表示需要预测的图像文件路径


总结

以上就是RT-DETR训练自己数据集的全部过程啦,欢迎大家在评论区交流~

专栏目录:RT-DETR改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进

专栏地址:RT-DETR改进专栏——以发表论文的角度,快速准确的找到有效涨点的创新点!

### 使用 RTDETR 模型训练 VisDrone 数据集 为了使用RTDETR模型训练VisDrone数据集,需先准备环境并下载所需的数据和预训练权重文件。安装必要的依赖库之后,可以按照特定的配置来调整超参数以适应VisDrone数据集的特点。 #### 准备工作 确保已安装PyTorch及相关依赖项,并设置好CUDA环境以便利用GPU加速计算过程[^1]。接着克隆包含RTDETR实现的仓库到本地机器上: ```bash git clone https://github.com/PaddlePaddle/PaddleDetection.git cd PaddleDetection pip install -r requirements.txt ``` 对于VisDrone数据集而言,需要将其转换成COCO格式,因为RTDETR默认支持这种标注方式。这一步骤可以通过编写简单的脚本来完成,具体细节取决于原始标签文件的具体结构[^2]。 #### 配置文件修改 打开`configs/rt_detr_500e_coco.yml`作为模板创建一个新的配置文件用于VisDrone项目。主要关注以下几个方面: - 修改类别数量(`num_classes`)匹配VisDrome中的目标种类数; - 调整输入图像大小(`input_size`)至适合无人机拍摄场景的比例; - 设置合适的批量处理尺寸(batch size)以及迭代次数(epochs),考虑到硬件资源限制和个人需求做出适当的选择; 这些改动能够帮助更好地适配新数据源特性,从而提高最终检测效果[^3]。 #### 训练命令执行 当一切就绪后,在终端运行如下指令启动训练流程: ```bash python tools/train.py -c configs/custom_rt_detr_visdrone.yml --eval ``` 此命令会读取自定义好的配置文件来进行模型训练,并定期评估验证集上的性能表现。 ```yaml architecture: RTDETR use_gpu: true max_iters: 80000 batch_size: 8 pretrain_weights: https://paddledet.bj.bcebos.com/models/pretrained/ResNet50_vd_ssld_pretrained.pdparams weights: output/rt_detr_r50vd_fpn_500e_coco/best_model metric: VOC num_classes: 10 ... ``` 上述YAML片段展示了部分重要参数设定示例,实际应用时应根据具体情况灵活调整[^4]。
评论 79
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Limiiiing

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值