Ultralytics代码修改dataset和dataloader适用于自己的数据集

已于 2025-05-14 13:51:54 修改
阅读量952 收藏 18
点赞数 23
分类专栏： YOLO 机器视觉 cv项目实操 文章标签： 深度学习 人工智能 机器学习 多模态融合
于 2025-05-12 09:57:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_50645064/article/details/147766854
版权

 前言

需求概述：我有两个模态的数据集，这两个模态的数据集是一一对应的，即文件名相同。数据集格式如下，我想要将两个模态的图片一一对应打包在一起。

然后在输入模型之前，取出其中一个模态传入模型（）训练。

YOLO的U版代码封装了很多层，不容易找到dataset  和 dataloader的加载地方，下面是YOLO检测的训练流程，建议先浏览。

一、dataset

检测Detection的dataset入口在ultralytics/models/yolo/detect/train.py的build_dataset中。我们可以新建一个build_dataset的函数来替换掉这里的build_yolo_dataset。

1.1  替换build_yolo_dataset函数

原来的build_yolo_dataset函数在ultralytics/data/build.py中。

在ultralytics/data/build.py中新建一个build_rgbs_dataset()函数，需要重新创建一个自己的dataset类（RGBSDataset），然后return 的时候实例化这个类。

记得在ultralytics/data/dataset.py创建完RGBSDataset以后，在build.py文件开头import 这个类

在ultralytics/models/yolo/detect/train.py 开头import build_rgbs_dataset函数

 1.2 改写YOLODataset

我们自己的dataset类  (RGBSDataset)  需要参考   YOLODataset(ultralytics/data/dataset.py)，而YOLODataset  其实是   BaseDataset（ultralytics/data/base.py）的子类，复写了他的函数扩展了部分功能。

（详情请看这篇博客：Ultralytics中的YOLODataset和BaseDataset-CSDN博客）

所以我们也可以在YOLODataset() 的相同文件下，新建一个RGBSDataset()类，并且继承BaseDataset(), 然后针对部分功能复写或者拓展。

注意要在dataset的同级目录下的__init__.py文件中添加我们新建的类。

1.2.1 __init__初始化

关键是需要传入两个模态的图片和标签路径的根路径或者直接单独分别传入。

 ① 加载

最低0.47元/天 解锁文章
[YOLO专题-19]：YOLO V5 - ultralytics代码解析-dataloader数据加载机制
文火冰糖（王文兵）的博客
01-07 1万+
作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客 本文网址： 目录 第1章 什么是dataloader数据集加载器 第2章 Pytorch的dataloader 2.1 依赖的库 2.2 自定义自己的数据集 2.3 自定义dataloader加载器 2.4 使用dataloader迭代器读取数据 第3章 YOLO V5 - ultralytics dataloader的代码实现 3.1create_dataloader 3.2 支持的其他功能.
Dataset 和 Dataloader 详解
@bangbang的博客
11-24 3488
(1)处理变长序列如果一个批次的数据具有不同长度，例如 NLP 中的句子或时间序列，默认的 collate_fn 会报错。需要自定义逻辑，使用 填充（padding） 或其他方法统一长度(2)支持复杂数据结构默认的 default_collate 无法处理某些类型的数据，例如自定义嵌套数据或稀疏数据，需要编写自定义逻辑。(3)特殊预处理在将数据输入模型前，可能需要动态调整或预处理（例如数据增强、归一化等）。
YOLOv10s训练代码解析4：构建Dataset和Dataloader
BestSongC的博客
09-01 988
YOLOv10s训练代码解析4：构建Dataset和Dataloader
如何训练自己的数据集之——红外船舶数据集
2401_88441190的博客
10-27 1567
红外船舶数据集，一共8002张jpg图片，包含txt和xml标注格式。该数据库记录包含了多个不同场景下、不同时段、不同分辨率的海上、港口和海边上的邮轮、散货船、军舰、帆船、皮划艇 、集装箱船、渔船目标。图像分辨率分别为：384*288、640*512、1280*1024，对图像中的七类船舶目标liner、bulk carrier、warship、sailboat、canoe、container ship、fishing boat进行了标注，该数据库将其主要用于真实世界红外海防领域的目标检测识别技术研究。
如何训练自己的数据集之——系统红外船舶数据集
2401_88440984的博客
10-27 950
红外船舶数据集，一共8002张jpg图片，包含txt和xml标注格式。该数据库记录包含了多个不同场景下、不同时段、不同分辨率的海上、港口和海边上的邮轮、散货船、军舰、帆船、皮划艇 、集装箱船、渔船目标。图像分辨率分别为：384*288、640*512、1280*1024，对图像中的七类船舶目标liner、bulk carrier、warship、sailboat、canoe、container ship、fishing boat进行了标注，该数据库将其主要用于真实世界红外海防领域的目标检测识别技术研究。
如何训练自己收集整理的数据集？河道垃圾数据集
2401_88440984的博客
10-27 1226
河道垃圾数据集 河道漂浮物数据集水污染数据集（航拍无人机视角）3000张，可直接用于河道垃圾、水污染功能检测，标注质量高；标注yolo格式、voc格式，可直接训练，河道数据集 水面漂浮物数据集 水污染
YOLOv5训练自己的数据集（从代码下载到实例测试）
Limiiiing的博客
08-07 4423
在Windows10上配置CUDA环境教程YOLOv5是在计算机视觉目标检测领域中具有重要影响力的算法模型，广泛应用于智能驾驶、安防监控、工业检测、机器人视觉等众多需要实时目标检测的场景中，源代码在如今也是一直在更新着。Mosaic数据增强：参考2019 年提出的cutmix数据增强方式，采用4张图片，进行随机缩放、随机裁剪、随机排布的方式拼接，大大丰富了检测数据集，特别是增加了很多小目标，使得网络具有更好的鲁棒性，并且在小批量情况下也能达到较好训练效果。
如何训练自己的数据集之行为类别数据集
2401_88441190的博客
10-26 1103
行为类别数据集 打架数据集 考场行为数据集 考生行为数据集 学生行为检测数据集 学生数据集 1.考场考生行为检测数据集14类 7000张 带标注 voc yolo 2打架数据集3类 打架 摔倒 持械
如何训练自己的数据集？风力发电机缺陷数据集
2401_88441190的博客
10-27 907
【风力发电叶片缺陷检测】nc: 4 names: ['Burn Mark', 'Coating_defects', 'Crack', 'EROSION '] 名称：【'烧伤痕迹', '涂层缺陷', '裂缝'，'侵蚀'】共1095张，8:1:1比例划分，（train;876张，val：109张，test：110张标注文件为YOLO适用的txt格式。可以直接用于模型训练。 数据集2:7类 burning: 燃烧 crack: 裂缝 deformity: 变形 dirt: 污垢 oil: 油污 peeling
Pycharm（十九）深度学习
higerwy的博客
05-06 1336
深度学习是机器学习中的一种特殊方法，它使用称为神经网络的复杂结构，特别是“深层”的神经网络，来学习和做出预测。深度学习特别适合处理大规模和高维度的数据，如图像、声音和文本。深度学习、机器学习和人工智能之间的关系如下图所示：深度学习⊆机器学习⊆人工智能优点：1）精度高，性能优于其他的机器学习算法，甚至在某些领域超过了人类；2）随之计算机硬件的发展，可以近似任意的非线性函数；3）近年来在学界和业界受到了热捧，有大量的框架和库可供调。缺点：1）黑箱。
【深度学习|学习笔记】 梯度提升机（Gradient Boosting Machines, GBM）模型详解，附代码。
2401_89898861的博客
05-10 1146
【深度学习|学习笔记】 梯度提升机（Gradient Boosting Machines, GBM）模型详解，附代码。
Python数据分析案例74——基于内容的深度学习推荐系统（电影推荐）
weixin_46277779的博客
05-10 1369
电影数据集构建推荐系统，结合内容推荐和深度学习两种方法。预处理、探索性分析，加权平均法和余弦相似度进行基于内容的推荐，计算电影的相似度并生成推荐结果。并且使用深度学习模型，构建评分预测和检索任务，用户个性化推荐和评分预测。
CNN处理图片
minato_wdz的博客
05-09 938
iltera​rgnp..array([[1/162/16erfiltera​rg−1)==[3120。
深度学习 自然语言处理(RNN) day_02
最新发布
qq_59348412的博客
05-13 846
感知机由于结构简单，完成的功能十分有限。可以将若干个感知机连在一起，形成 一个级联网络结构，这个结构称为“多层前馈神经网络”（Multi-layer Feedforward Neural Networks）。所谓“前馈”是指将前一层的输出作为后一 层的输入的逻辑结构。每一层神经元仅与下一层的神经元全连接。但在同一层之内， 神经元彼此不连接，而且跨层之间的神经元，彼此也不相连。循环神经网络（Recurrent Neural Network，RNN）是一种神经网络结构，专门用于处理序列数据。
PyTorch实战（4）——卷积神经网络(Convolutional Neural Network, CNN)详解
盼小辉丶的博客
05-12 1173
卷积神经网络 (Convolutional Neural Network, CNN) 是一种广泛应用的深度学习模型。通过参数共享、局部感知和空间结构等优势，能够更好地处理图像数据，并在图像识别、目标检测和图像生成等任务中展现出强大的能力。在本节中，介绍了卷积的计算方法以及卷积神经网络的基本组件，并使用 PyTorch 构建了卷积神经网络以深入了解其工作原理。
The Deep Learning Compiler: A Comprehensive Survey (深度学习编译器：全面调查)
m0_58988991的博客
05-13 642
《深度学习编译器：全面调查》一文由Mingzhen Li等人撰写，发表于2021年3月1日的《IEEE Transactions on Parallel and Distributed Systems》。该文章系统性地回顾了深度学习编译器的发展现状，探讨了其在优化深度学习模型部署和性能提升中的关键作用。文章详细分析了现有深度学习编译器的架构、优化技术及其在不同硬件平台上的应用，并指出了当前面临的挑战和未来的研究方向。这项调查为研究人员和开发者提供了宝贵的参考，有助于推动深度学习编译器技术的进一步发展。
LSTM对IMDB数据库情感判断模型训练的实践及改进
harebert的博客
05-10 610
本文介绍了如何使用LSTM模型对IMDB电影评论数据集进行情感分析。首先，确保NLTK资源已下载，并配置了数据路径、最大长度、批量大小、嵌入维度、隐藏维度和训练轮数等参数。接着，加载IMDB数据集，构建词汇表，并将文本数据编码为张量。随后，定义IMDBDataset类用于处理数据，并使用DataLoader进行批量加载。模型部分定义了一个LSTM模型，包括嵌入层、LSTM层和全连接层，并使用BCELoss作为损失函数。最后，通过训练和评估函数对模型进行训练和测试，计算训练损失和准确率，并输出测试准确率。整个
【深度学习新浪潮】智能追焦技术全解析：从算法到设备应用
agito_cheung的博客
05-09 155
智能追焦是基于人工智能和自动化技术的对焦功能，通过深度学习算法识别并持续跟踪移动物体（如人、动物、运动器械等），实时调整焦距以保持主体清晰，显著提升动态场景拍摄成功率。：搭载 BIONZ XR 芯片，集成 TransTrack 类算法，0.03 秒超高速对焦，通过卡尔曼滤波预测高速运动轨迹，适合体育摄影。：结合激光雷达（如荣耀 Magic7 的 1200 点激光对焦）与视觉算法，实现毫米级对焦精度，解决低纹理场景（如白墙前的人物）追焦难题。实际应用：可连接镜头控制模块（如步进电机 API），通过。
长短期记忆网络（LSTM）深度解析：理论、技术与应用全景
搏博的专栏
05-11 1334
本文从理论起源、数学建模、网络架构、工程实现到行业应用，系统拆解LSTM的核心机制，涵盖基础理论推导、改进模型分析、分布式训练技术及多领域实践案例，为复杂时序系统的建模提供完整技术路线。通过共享权重处理序列数据，但反向传播时梯度呈现指数级衰减（或爆炸），导致对长距离依赖（如超过20步的时序）建模能力失效，即梯度消失问题。从连续语音信号中检测语音段起始与结束位置，输入为梅尔频率倒谱系数（MFCC，40维），输出为二分类（语音/非语音）。
yolov11 obb 使用自己数据集】
03-08
### 如何使用自定义数据集训练 YOLOv11 进行 OBB 检测 #### 数据集构建要求 为了成功训练YOLOv11进行定向边界框(OBB)检测，需遵循特定的数据集构建准则。这包括但不限于图像文件及其对应的标注信息的整理方式。每张图片应配有详细的OBB标注详情，这些信息对于模型理解物体的方向至关重要[^2]。 #### 准备环境与安装依赖库 在Google Colab环境中启动一个新的笔记本，并确保已安装必要的Python包来支持YOLOv11框架的操作。通常情况下，可以通过运行如下命令完成环境设置： ```bash !pip install ultralytics ``` #### 下载预训练权重 利用官方提供的预训练模型作为初始化参数可以加速收敛过程并提高最终效果。可以从Ultralytics发布的资源中获取适合YOLOv11的小型版本`yolo11n`或其他变体[^3]。 #### 编写配置文件 创建一个描述实验设定的YAML格式配置文件，其中指定了输入尺寸、批量大小等超参数；同时也明确了所使用的backbone网络结构和其他组件的选择。针对OBB任务特别需要注意的是要调整损失函数部分以适应旋转矩形而非普通的水平边框[^1]。 #### 构建数据加载器 编写代码片段读取本地磁盘上的图片列表及相应的标签记录，形成PyTorch DataLoader实例供后续迭代调用。这里假设已经按照前述提到的标准组织好了所有素材，则可以直接参照模板实现这一功能模块。 ```python from pathlib import Path import yaml from torch.utils.data import Dataset, DataLoader from PIL import Image import numpy as np class CustomOBBDataset(Dataset): def __init__(self, root_dir, transform=None): self.root_dir = Path(root_dir) with open(self.root_dir / 'annotations.yaml', 'r') as f: self.annotations = list(yaml.safe_load(f).values()) self.transform = transform def __len__(self): return len(self.annotations) def __getitem__(self, idx): img_path = str(self.root_dir / self.annotations[idx]['filename']) image = Image.open(img_path).convert('RGB') boxes = [] labels = [] for obj in self.annotations[idx]["objects"]: box = [ float(obj['bbox'][0]), float(obj['bbox'][1]), float(obj['bbox'][2]), float(obj['bbox'][3]) ] angle = float(obj.get('angle', 0)) # Convert to format expected by model (if necessary) ... boxes.append(box) labels.append(int(obj["category_id"])) sample = { "image": image, "boxes": np.array(boxes), "labels": np.array(labels) } if self.transform is not None: sample = self.transform(sample) return sample train_dataset = CustomOBBDataset('./data/train/') val_dataset = CustomOBBDataset('./data/valid/') batch_size = 8 num_workers = 2 train_loader = DataLoader(train_dataset, batch_size=batch_size, shuffle=True, num_workers=num_workers) val_loader = DataLoader(val_dataset, batch_size=batch_size, shuffle=False, num_workers=num_workers) ``` #### 训练流程设计 最后一步就是搭建完整的训练循环逻辑，在此期间不断更新神经网络内部状态直至满足停止条件为止。考虑到实际应用中的复杂性和多样性，建议采用早停法(Early Stopping)机制防止过拟合现象发生的同时也节省计算成本。 通过上述步骤，便可以在个人定制化的数据集合之上有效地开展基于YOLOv11架构下的OBB目标识别工作了[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小小老大MUTA️

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值