手把手教你如何使用MMDetection训练自己的数据集

于 2024-09-04 12:10:54 发布
阅读量704 收藏 11
点赞数 8
文章标签： 深度学习 人工智能 pytorch python 目标检测
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45662399/article/details/141861445
版权

文章目录

参考 ： MMDetection全流程实战指南：手把手带你构建目标检测模型

一、配置环境

1. 创建一个名为mmdetection的虚拟环境

conda create -n mmdetection python=3.9 -y
conda activate mmdetection

2. 安装GPU版本的PyTorch

# GPU版本
conda install pytorch torchvision -c pytorch

这里如果安装失败了需要去官网 pytorch官网 找对应的版本下载；

先输入nvidia-smi命令查看可下载的cuda的最高版本
在这里插入图片描述
我的可下载的最高CUDA版本为12.0，因此我选择11.8的这个下载命令进行下载

在这里插入图片描述
在这里插入图片描述

下载后进行检验是否安装成功

import torch
torch.cuda.is_available()
exit()

在这里插入图片描述
可以看到输出为true，安装成功。

3. 安装mmdetection所需的包

使用 OpenMMLab 推出的 MIM 来安装 MMEngine 和 MMCV 两个必要的库。

pip install -U openmim
mim install mmengine
mim install "mmcv>=2.0.0"

至此，需要下载的包就都全部完成了，可以使用conda list命令来查看一下是否都安装成功了。
在这里插入图片描述

二、下载源码并安装配置文件

1. 下载 GitHub 上的mmdetection源码到本地

cd /path #（进入到你自己下载mmdetection代码的位置）
# 在Github上git代码
git clone https://github.com/open-mmlab/mmdetection.git

如果git失败就直接下载源码即可

github-mmdetection

在这里插入图片描述

2. 安装源码中的配置文件

# 进入mmdetection对应的文件夹
cd mmdetection
# 安装配置文件
pip install -v -e .

在这里插入图片描述

3. 配置成功

在这里插入图片描述

三、测试是否成功安装

1. 下载配置文件和模型权重文件。

mim download mmdet --config rtmdet_tiny_8xb32-300e_coco --dest .

在这里插入图片描述
下载结束后可以在当前文件夹中发现两个文件

  • rtmdet_tiny_8xb32-300e_coco.py
  • rtmdet_tiny_8xb32-300e_coco_20220902_112414-78e30dcc.pth。
    在这里插入图片描述

2. 推理验证

python demo/image_demo.py demo/demo.jpg rtmdet_tiny_8xb32-300e_coco.py --weights rtmdet_tiny_8xb32-300e_coco_20220902_112414-78e30dcc.pth --device cuda

在输入命令后我遇到了 “AssertionError: MMCV==2.2.0 is used but incompatible. Please install mmcv>=2.0.0rc4, <2.2.0” 的问题

在这里插入图片描述

  • 解决方法：注释掉/mmdetection-main/mmdet/init.py文件中的相关断言
# assert (mmcv_version >= digit_version(mmcv_minimum_version)
#         and mmcv_version < digit_version(mmcv_maximum_version)), \
#     f'MMCV=={mmcv.__version__} is used but incompatible. ' \
#     f'Please install mmcv>={mmcv_minimum_version}, <{mmcv_maximum_version}.'

在这里插入图片描述
再次运行后成功

在这里插入图片描述
结果可在outputs文件夹中查看；

在这里插入图片描述
至此mmdetection的安装和配置完成，下面将进行自定义数据集的配置。

四、数据集准备

1. 准备好coco格式的数据集

coco格式数据集如下所示:

在这里插入图片描述
在mmdetection文件夹下新建一个data数据集，再新建一个子文件夹名为coco，然后存放自己的数据集；

在这里插入图片描述

2. 创建新的数据集类

进入 mmdet/datasets 这个文件夹里，并创建一个自己命名数据集的 Python 文件，我的叫做plantdoc.py

在这里插入图片描述
由于是 coco 格式的数据集，因此可以直接复制名为 coco.py 文件的内容到 plantdoc.py 文件，然后修改里面对应的内容。

我们需要把coco.py中的类名、数据集中的类别和标注的颜色换成自己的数据集的类名

  • 下图为coco.py中的内容
    在这里插入图片描述

  • 下图为我自己的plantdoc.py类
    在这里插入图片描述

3. 录入数据集

在mmdet/datasets/init.py中仿照coco的格式把我们自己的数据集进行录入。

  • import 的内容就是我们自定义的 dataset 名字
  • 最后在下面也要加上对应 Dataset 的名称。
    在这里插入图片描述

五、模型准备

1. 模型选择

在config文件夹中选择想要使用的目标检测模型，我这里选择的是deformable_detr

在这里插入图片描述

配置文件中设置的epoch=50,batch=32，我这里根据我自己的设备修改为了epoch=36,batch=8

在这里插入图片描述

2. 配置文件准备及修改

由于在 MMDetection 里大多用的都是 COCO 格式的数据集，因此在这里直接修改 work_dir 文件夹里对应的配置文件会比起重新创建更加的方便。

生成配置文件

首先运行deformable-detr的训练命令

python tools/train.py configs/deformable_detr/deformable-detr_r50_16xb2-50e_coco.py

可以看到mmdetection文件夹中生成了一个work_dirs子文件夹，deformable-detr_r50_16xb2-50e_coco.py中就是完整的配置文件；

在这里插入图片描述

修改配置文件

把配置文件修改成和我们自己的数据集适配

  • 修改数据集类别数：从80改为27（自己的数据集类别个数）

在这里插入图片描述

  • 修改dataset_type：从CocoDataset改为PlantdocDataset（自己的数据集名称）

在这里插入图片描述

  • 还可以修改学习率：比如数据集很少的话，可以把学习率调得比较小，从而让其能够慢慢的学习到图像的特征。

注册数据集的metainfo

在配置文件中创建一个 metainfo，将自己的 classes（标签类别）和 palette（调色板）写入，并且在 train_dataloader、val_dataloader 和 test_dataloader 里写入；

  • 我的数据集的metainfo:

在这里插入图片描述

metainfo = dict(
    classes=(
        'Tomato Septoria leaf spot',
        'Bell_pepper leaf',
        'Corn rust leaf',
        'Potato leaf late blight',
        'Corn leaf blight',
        'Strawberry leaf',
        'Tomato leaf late blight',
        'Blueberry leaf',
        'Soyabean leaf',
        'Tomato mold leaf',
        'Squash Powdery mildew leaf',
        'Raspberry leaf',
        'Tomato leaf bacterial spot',
        'Apple rust leaf',
        'Peach leaf',
        'Potato leaf early blight',
        'Tomato Early blight leaf',
        'Apple Scab Leaf',
        'Grape leaf',
        'Tomato leaf',
        'Grape leaf black rot',
        'Apple leaf',
        'Corn Gray leaf spot',
        'Bell_pepper leaf spot',
        'Cherry leaf',
        'Tomato leaf mosaic virus',
        'Tomato leaf yellow virus',
    ),
    palette=[
        (
            220,
            20,
            60,
        ),
        (
            119,
            11,
            32,
        ),
        (
            0,
            0,
            142,
        ),
        (
            0,
            0,
            230,
        ),
        (
            106,
            0,
            228,
        ),
        (
            0,
            60,
            100,
        ),
        (
            0,
            80,
            100,
        ),
        (
            0,
            0,
            70,
        ),
        (
            0,
            0,
            192,
        ),
        (
            250,
            170,
            30,
        ),
        (
            100,
            170,
            30,
        ),
        (
            220,
            220,
            0,
        ),
        (
            175,
            116,
            175,
        ),
        (
            250,
            0,
            30,
        ),
        (
            165,
            42,
            42,
        ),
        (
            255,
            77,
            255,
        ),
        (
            0,
            226,
            252,
        ),
        (
            182,
            182,
            255,
        ),
        (
            0,
            82,
            0,
        ),
        (
            120,
            166,
            157,
        ),
        (
            110,
            76,
            0,
        ),
        (
            174,
            57,
            255,
        ),
        (
            199,
            100,
            0,
        ),
        (
            72,
            0,
            118,
        ),
        (
            255,
            179,
            240,
        ),
        (
            0,
            125,
            92,
        ),
        (
            209,
            0,
            151,
        ),
    ])

在train_dataloader、test_dataloader、val_dataloader中都写入；

在这里插入图片描述
在这里插入图片描述

3. 模型训练

此时我们运行work_dirs目录下的配置文件，然后就可以开始训练啦

python tools/train.py work_dirs/deformable-detr_r50_16xb2-50e_coco.py

在这里插入图片描述
可以查看每个epoch的loss、剩余时间等等

好喜欢吃红柚子
关注
  • 8
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
手把手教你MMDetection实战
qq_53545309的博客
06-04 203
本页提供有关MMDetection用法的基本教程。有关安装说明，请参阅。
手把手教你MMDetection基准和模型汇总
qq_53545309的博客
06-04 180
毫无疑问，maskrcnn基准测试和mmdetection的存储效率比Detectron更高，主要优点是PyTorch本身。我们发现pytorch风格的ResNet通常比caffe风格的ResNet收敛慢，因此在1倍进度表中结果会略低，但2倍进度表的最终结果会更高。请注意，Caffe2和PyTorch具有不同的API，以通过不同的实现获取内存使用情况。我们使用AWS作为托管模型汇总的主要站点，并在阿里云上维护一面镜子。具有不同主干的更多模型将添加到模型汇总。显示的内存使用量都比上表中报告的数字大。
手把手教你如何在服务器运行mmdetection训练自己的数据集
ohligay的博客
05-15 1011
本篇主要以RTMDET模型为例，讲解在服务器上通过mmdetection训练自己数据集并查看训练结果图的步骤，学习笔记仅供参考。
使用mmdetection训练自定义数据集
ztx2425363586的博客
04-25 620
Note: 默认已经会使用anaconda。
手把手教你如何配置mmdetection并训练（win10环境）
PolarisFTL
06-14 7505
本文在win10环境下对mmdetection工具箱进行一个详细的配置教程，表中为创建的虚拟环境核心模块版本号。Name版本python3.7torch1.8CUDA11.1cudnn8.2.0mmcv2.0.0一、mmdetection下载下载完成之后使用pychram打开如下图所示：接下来对mmdetection的基本环境进行配置 ，采用Anaconda3新建虚拟环境。
手把手教你利用YOLOX训练自定义数据集（COCO Dataset）
Mickey的博客
05-29 1984
YOLOX 支持使用自定义数据集进行训练。为了在 YOLOX 上运行我们自己的数据集，我们需要遵循以下基本步骤
【干货】用mmdetection，在COCO数据集上跑通faster R-CNN（测试、训练）
热门推荐
Activewaste
07-06 2万+
注：刚接触R-CNN、Fast R-CNN、Faster R-CNN，就尝试用mmdetection，在coco数据集上跑Faster R-CNN，训练测试完就来记录一下这个过程的一些坑 参考 mmdetection github网址 跑通mmdetection 安装Anaconda3遇到的几个问题 关于跑通mmdetection，建议主要看第一个网址，第二个网址参考为主，因为我按原博的步骤...
coco 数据集_手把手教你如何用SOLOV2训练自己的数据集
weixin_39607473的博客
11-23 947
title: 手把手教你如何用SOLOV2训练自己的数据集 date: 2020-07-24 14:59:11 category: 默认分类 本文介绍 手把手教你如何用SOLOV2训练自己的数据集 <!-- more -->手把手教你如何用SOLOV2训练自己的数据集本文由林大佬原创，转载请注明出处，来自腾讯、阿里等一线AI算法工程师组成的QQ交流群欢迎你的加入: 1037662480...
【干货】mmdetection使用coco格式的CrowdHuman数据集进行训练及测试（附调参过程）
Activewaste
07-10 1万+
注：从mmdetection使用coco数据集在faster rcnn训练和测试，到了解crowdhuman数据集标注格式，再到crowdhuman的标注格式转换成coco数据集标注格式，现在就到了最终目的了：训练转换后的Crowd Human数据集。 以下是博主这一过程中整理的记录： 【干货】用mmdetection，在COCO数据集上跑通faster R-CNN（测试、训练） COCO数据...
深度学习(二)
小泽爱刷题的博客
08-31 1127
CUDA是一种并行计算的编程模型，提供了开发者利用GPU的工具和接口，适用于各种需要并行处理的应用程序。CuDNN是一个专门的加速库，建立在CUDA的基础上，针对深度学习中的神经网络操作进行了专门的优化，从而大幅提升计算效率。两者的结合，使得深度学习和其他计算密集型任务在GPU上能够以更快的速度、更高的效率完成Dataset：继承Dataset可以让你自定义如何获取和处理数据。这在处理复杂的数据集时非常有用，例如当数据需要从多个文件加载、进行特殊的预处理或处理非标准格式的数据时。DataLoader。
Unet改进13：添加RepVGG||减少冗余计算和同时存储访问
m0_51530640的博客
08-31 294
我们提出了一种简单但功能强大的卷积神经网络结构，该结构具有类似vgg的推理时间主体，仅由3 × 3卷积和ReLU堆栈组成，而训练时间模型具有多分支拓扑结构。通过结构重参数化技术实现训练时间和推理时间结构的解耦，将模型命名为RepVGG。在ImageNet上，RepVGG达到了80%以上的top-1精度，据我们所知，这是第一次对一个普通模型。
【保姆级教程】使用 PyTorch 自定义卷积神经网络（CNN） 实现图像分类、训练验证、预测全流程【附数据集与源码】
阿旭的博客
09-03 1459
【保姆级教程】使用 PyTorch 自定义卷积神经网络（CNN） 实现图像分类、训练验证、预测全流程【附数据集与源码】
【深度学习 transformer】transformer 训练一个文本分类任务，超简单了
赖德发的博客
09-03 580
请注意，这只是一个简化的示例，实际代码可能会更复杂，具体取决于您选择的模型和配置。此外，Happy Transformer的API可能会随着时间的推移而更新，因此请确保查看最新的文档以获取最新的信息。请注意，这只是一个简化的示例，实际代码可能会更复杂，具体取决于您选择的模型和配置。此外，Happy Transformer的API可能会随着时间的推移而更新，因此请确保查看最新的文档以获取最新的信息。在这个预测代码中，我们首先使用Happy Transformer的API加载训练好的模型。
AI学习指南深度学习篇-长短时记忆网络python实践
俞兆鹏的博客
08-31 1438
长短时记忆网络（LSTM）是一种能够有效处理序列数据的循环神经网络。与传统的RNN相比，LSTM在解决梯度消失和梯度爆炸等问题上表现更好，使得它在自然语言处理、语音识别等领域广泛应用。TensorFlow是由Google开发的开源深度学习框架，提供了丰富的API和工具，方便进行神经网络的构建、训练和部署。
【知识】对比Share mem/Pin mem/GPU mem之间的传输速度
xfxuezhang.cn
08-31 435
很必要的小知识
【机器学习】循环神经网络(RNN)介绍
鑫宝的博客
08-31 2290
循环神经网络(Recurrent Neural Network, RNN)是一种特殊类型的人工神经网络,专门设计用于处理序列数据,如文本、语音、视频等。与传统的前馈神经网络不同,RNN在隐藏层之间引入了循环连接,使得网络能够捕捉序列数据中的动态行为和时间依赖性。上图展示了一个简单的RNN结构,其中xtx_txt​表示时间步ttt的输入,hth_tht​表示时间步ttt的隐藏状态,oto_tot​表示时间步ttt的输出。可以看到,隐藏状态hth_tht​。
pytorch利用简单CNN实现葡萄病虫害图片识别
最新发布
roccreed的专栏
09-03 469
只有2个Python文件，通过简单CNN实现葡萄病虫害的识别DEMO
小白学深度学习：知识蒸馏研究综述
gangyikeji的博客
08-30 1147
知识蒸馏是一种教师-学生(Teacher-Student)训练结构，通常是已训练好的教师模型提供知识，学生模型通过蒸馏训练来获取教师的知识。它可以以 轻微的性能损失为代价将复杂教师模型的知识迁移到简单的学生模型中。知识蒸馏与迁移学习思想较为相似，然而它们有以下四点的不同：知识蒸馏中的知识通常是在同一个目标数据集上进行迁移，而迁移学习中的知识往往是在不同目标的数据集上进行转移。知识蒸馏的两个网络可以是同构或者异构的，而迁移学习通常是在单个网络上利用其它领域的数据知识。
手把手教你用yolov5训练自己的数据集
08-24
在【小白CV】手把手教你用YOLOv5训练自己的数据集（从Windows环境配置到模型部署）_梁瑛平的博客-CSDN博客.pdf中提供了详细的指导，可以帮助你学习如何使用YOLOv5训练自己的数据集。该过程包括以下步骤： 1. 数据集制作：准备自己的数据集，并进行标注和处理，生成YOLOv5所需的数据格式。 2. 环境配置：在Windows环境下安装Python环境、PyTorch和其他必要的依赖库。 3. 模型训练：使用YOLOv5提供的训练脚本进行模型训练，根据自己的硬件配置修改参数。 4. 模型测试：使用训练好的模型进行测试，评估模型在测试集上的性能。 5. 模型推理：将训练好的模型部署到实际应用中，进行目标检测。 训练好的模型会保存在yolov5目录下的runs/exp0/weights/last.pt和best.pt文件中，而详细的训练数据保存在runs/exp0/results.txt文件中。 <span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [【小白CV】手把手教你用YOLOv5训练自己的数据集（从Windows环境配置到模型部署）_梁瑛平的博客-CSDN博客....](https://download.csdn.net/download/m0_62668782/54189217)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [YOLOv5训练自己的数据集（超详细完整版）](https://blog.csdn.net/demm868/article/details/122076560)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值