利用MMDetection在标准数据集上训练预定义的模型

已于 2024-04-18 17:48:21 修改
阅读量1.4k 收藏 21
点赞数 30
分类专栏： 目标检测 文章标签： 深度学习 目标检测 服务器 linux 计算机视觉
于 2024-04-16 18:35:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_65552509/article/details/137833539
版权

检索目录

本节参考官方文档在标准数据集上训练预定义的模型

在上次发布的从深度学习目标检测新手视角安装MMDetection到使用公开数据集进行模型测试中，我们已经学习到如何部署安装MMDetection以及如何利用公开数据集测试被训练好的现有模型。MMDetection也为训练检测模型提供了开盖即食的工具。本节将讨论在标准数据集（比如 COCO）上如何训练一个预定义的模型。

在这里插入图片描述

深度学习模型训练过程中预训练和微调的区别

微调（Fine-tuning）和预训练（Pre-training）是机器学习特别是深度学习领域中两种重要的训练策略，它们主要应用于诸如自然语言处理（NLP）和计算机视觉（CV）等领域的大规模模型训练过程。以下是两者的主要区别：

预训练（Pre-training）：

  1. 目标：预训练模型的目标是利用大规模未标注数据学习底层的语言或视觉特征表示，这些特征具有普适性和迁移性。
  2. 数据集：通常使用大规模的无标签文本数据集（如对于NLP）或大量未标记的图片（如对于CV）进行训练。
  3. 过程：通过自监督或自我预测任务（如掩码语言模型、对比学习等）训练模型，使其捕获普遍的模式、语法结构和语义特征。
  4. 结果：预训练产生的模型可以作为一个通用的语言模型（如BERT、GPT系列）或特征提取器（如在CV中的预训练卷积神经网络），为后续任务提供初始化参数。

微调（Fine-tuning）：

  1. 目标：微调是为了将预训练模型应用于特定下游任务，如情感分析、问答系统、目标检测等，通过调整模型参数使其更适合特定任务的需求。
  2. 数据集：使用相对较小但具有标签的特定任务数据集进行训练，这些数据集与预训练任务的数据分布可能有所不同。
  3. 过程：在预训练模型的基础上，保留大部分原有参数的同时，对模型的顶层或其他部分参数进行额外训练，有时也会对模型结构进行针对性修改，如添加任务相关的输出层或调整网络结构。
  4. 结果：经过微调后的模型在特定任务上的性能显著提升，因为它能够结合预训练学到的通用知识与针对特定任务的学习成果。

总的来说，预训练模型着重于学习通用特征表示，而微调则是在预训练模型基础上针对具体应用场景进行优化和个性化调整的过程。通过这种方式，可以有效利用有限的标注数据，同时充分利用大规模无标注数据带来的优势。

接上一个帖子，在做instance实例分割任务的时候选用了QueryInst模型，因此本节继续用该配置文件利用QueryInst模型和COCO2014数据集训练出自己的模型权重文件（checkpoint），本次涉及到的配置文件位于：mmdetection/configs/queryinst/queryinst_r50_fpn_1x_coco.py

queryinst_r50_fpn_1x_coco.py中的顶端代码：

base_ = [
    '../_base_/datasets/coco_instance.py',
    '../_base_/schedules/schedule_1x.py', '../_base_/default_runtime.py'
]

对应mmdetection/configs/_base_/datasets/coco_instance.py中的顶端代码：

# dataset settings
dataset_type = 'CocoDataset'
data_root = 'data/coco/'

data_root指向的文件目录下的COCO数据集格式配置请参考上一节

配置文件命名规则

queryinst_r50_fpn_1x_coco.py 这个Python文件的命名遵循了一套既定的规则，它是用来配置QueryInst模型在COCO数据集上进行训练和推理的配置文件。让我们逐一分解各个部分：

1. queryinst: 这部分表示所使用的模型架构是 QueryInst。QueryInst是一种基于Query-based的方法，通常用于实例分割任务，尤其是像Detectron2这样的开源项目中提出的端到端实例分割框架。

2. _r50: 后缀表明所使用的主干网络（Backbone）是 ResNet-50。ResNet-50是一个深度残差网络，因其在计算机视觉任务中的优秀表现和合理的计算复杂度而被广泛应用。

3. _fpn: 这里指的是使用了 Feature Pyramid Network (FPN) 结构。FPN是一种多尺度特征融合结构，允许模型在多个尺度上进行预测，从而提高了对不同大小物体的检测和分割性能。

4. 1x: 此处类似于之前提到的"Faster R-CNN"配置文件中的1x，同样表示模型的训练策略或者训练速度缩放因子。在相关研究和实践场景中，“1x”通常指代一个基准或标准的训练方案，包括训练周期、学习率策略等，相较于更激进的训练设置（比如“2x”或“3x”），它可能采用了更为保守的训练参数。

5. _coco: 最后的部分标识了模型将要训练和评估的 数据集，这里是 COCO（Common Objects in Context） 数据集。COCO是一个大规模的物体检测、分割和姿态估计数据集，包含了丰富的日常场景中的物体类别和实例。

总结起来，queryinst_r50_fpn_1x_coco.py 文件名指示了这是一个专为在COCO数据集上训练和测试基于ResNet-50主干网络和FPN结构的QueryInst实例分割模型，并遵循一个相对标准训练流程的配置文件。这种命名方式符合开放源代码库中常见的命名规范，便于开发者和研究人员根据模型结构、主干网络、训练策略以及数据集迅速识别和定位所需的配置文件。

在多 GPU 上训练

官方提供了 tools/dist_train.sh 来开启在多 GPU 上的训练。基本使用如下：

bash ./tools/dist_train.sh \
    ${CONFIG_FILE} \
    ${GPU_NUM} \
    [optional arguments]

在训练期间，日志文件和 checkpoint 文件将会被保存在工作目录下，它需要通过配置文件中的 work_dir 或者 CLI 参数中的 --work-dir 来指定。

这个工具接受以下参数：

  • –work-dir ${WORK_DIR}: 覆盖工作目录.
  • –resume：自动从work_dir中的最新检查点恢复.
  • –resume ${CHECKPOINT_FILE}: 从某个 checkpoint 文件继续训练.
  • –cfg-options ‘Key=value’: 覆盖使用的配置文件中的其他设置.

同时启动多个任务

如果你想在一台机器上启动多个任务的话，比如在一个有 8 块 GPU 的机器上启动 2 个需要 4 块GPU的任务，你需要给不同的训练任务指定不同的端口（默认为 29500）来避免冲突。

如果你使用 dist_train.sh 来启动训练任务，你可以使用命令来设置端口。

CUDA_VISIBLE_DEVICES=0,1,2,3 PORT=29500 ./tools/dist_train.sh ${CONFIG_FILE} 4
CUDA_VISIBLE_DEVICES=4,5,6,7 PORT=29501 ./tools/dist_train.sh ${CONFIG_FILE} 4

样例

我根据nvitop监视到的实验室服务器GPU空闲情况，指定了三块GPU（位置0,1,9）进行多GPU训练

CUDA_VISIBLE_DEVICES=0,1,9 ./tools/dist_train.sh \
    configs/queryinst/queryinst_r50_fpn_1x_coco.py \
    3

在Terminal键入命令之后即可开始训练，训练过程中会自动根据配置文件从网站上下载所需要的模型权重文件

在这里插入图片描述

训练工作日志如下，表明QueryInst的模型权重训练正在进行中

在这里插入图片描述
训练完成后，训练工作日志和权重文件默认将会位于mmdetection/work_dirs/queryinst_r50_fpn_1x_coco文件夹目录下

关于上述深度学习模型的训练日志。建议大家尽量弄懂关键参数和指标的含义，这可以帮助我们理解模型的训练进度和性能。以下是训练日志中一些主要参数的解释：

  1. Epoch: 这表示当前正在进行的训练轮次。在每个epoch中，模型会遍历整个训练数据集一次。

  2. [x/total]: 这显示了当前完成的训练批次数和总批次数。例如，“[400/13681]”表示已经完成了400个训练批次，总共将有13681个批次。

  3. base lr: 这是基础学习率，它是优化器在当前epoch中使用的初始学习率。

  4. et a: 这是剩余时间估计，它显示了模型预计还需要多少时间才能完成训练。例如，“a: 38 days, 4:01:59”表示预计还需要38天4小时零1分59秒。

  5. time: 这是完成当前批次训练所需的时间。

  6. data time: 这是加载和处理数据所需的时间。

  7. memory: 这是当前使用的内存大小。

  8. grad norm: 这是梯度的范数，它衡量了梯度的大小。在某些优化算法中，梯度的范数被用来控制梯度更新的幅度。

  9. loss: 这是当前批次的损失函数值。损失函数衡量了模型预测与真实标签之间的差异。

  10. s0.loss_cls, s0.loss_bbox, s0.loss_iou, s0.loss_mask: 这些是不同类型的损失值，分别对应于分类损失、边界框回归损失、IOU损失和掩模损失。这些损失通常用于衡量模型在不同任务上的表现，例如识别物体类别、定位物体位置、计算对象重叠度以及分割对象。

这些参数提供了关于模型训练过程的详细信息，帮助开发者监控和调整模型的性能。

常用超参数设置路径

学习率（learning rate）：优化相关配置
训练轮次（epoch）：训练和测试的配置
批大小（batch size）：数据集和评测器配置
迭代次数（iteration）= 总工作量 / batch size

多GPU训练时，总的batch size = 被指定的GPU数量 × 单个GPU的batch size

训练过程中出现的问题

1. 服务器异常断联导致训练被迫中断

为了预防此问题出现，我们需要提前在配置文件中配置好mmdetection/configs/_base_/default_runtime.py中default_hooks的checkpoint访问接口，参考 配置文件：钩子(HOOK)摘取2个CheckpointHook常用功能

  • 按照间隔保存权重，支持按 epoch 数或者 iteration 数保存权重 假设我们一共训练 20 个 epoch 并希望每隔 5 个
    epoch 保存一次权重，下面的配置即可帮我们实现该需求。
# by_epoch 的默认值为 True
default_hooks = dict(checkpoint=dict(type='CheckpointHook', interval=5, by_epoch=True))
  • 如果想以迭代次数作为保存间隔，则可以将 by_epoch 设为 False，interval=5 则表示每迭代 5 次保存一次权重。
default_hooks = dict(checkpoint=dict(type='CheckpointHook', interval=5, by_epoch=False))
  • 保存最新的多个权重，如果只想保存一定数量的权重，可以通过设置 max_keep_ckpts 参数实现最多保存 max_keep_ckpts个权重，当保存的权重数超过 max_keep_ckpts 时，前面的权重会被删除。
default_hooks = dict(checkpoint=dict(type='CheckpointHook', interval=5, max_keep_ckpts=2))
  • 指定保存权重的路径，权重默认保存在工作目录（work_dir），但可以通过设置 out_dir 改变保存路径。
default_hooks = dict(checkpoint=dict(type='CheckpointHook', interval=5, out_dir='/path/of/directory'))

参考我的最终命令：意思是以iteration为单位，间隔100周期，依次产生权重文件，并且只保留最新的2个权重文件

checkpoint=dict(type='CheckpointHook', 
	interval=100, by_epoch=False, max_keep_ckpts=2, 
	out_dir='/home/miqi/mmdetection/work_dirs/queryinst_r50_fpn_1x_coco')

此时就可以在训练被迫中断之后加上–resume选项在Terminal再次键入命令，这样训练过程自动从work_dirs中的最新checkpoint（pth文件）恢复，从而不用从头开始训练！下列命令就是我指定从第1000次迭代产生的权重继续训练

CUDA_VISIBLE_DEVICES=0,1,9 ./tools/dist_train.sh \
    configs/queryinst/queryinst_r50_fpn_1x_coco.py \
    3 \
    --resume work_dirs/queryinst_r50_fpn_1x_coco/iter_1000.pth

2. 适当调高训练的batchsize可以提高训练速度

根据训练过程中GPU的UTL实际占用情况，在mmdetection/configs/_base_/datasets/coco_instance.py文件中适当调高train_dataloader的batch_size大小

train_dataloader = dict(  # 训练 dataloader 配置
    batch_size=2) # 单个 GPU 的 batch size

倘若不自量力调了过高的训练batch_size，会导致训练无法进行或者中途中断

请添加图片描述

报错torch.distributed.elastic.multiprocessing.errors.ChildFailedError:

3. 训练异常中断会产生空占用GPU的僵尸进程

在这里插入图片描述

报红：No Such Process

通过kill命令杀掉对应显卡的所有进程，参考如何找到并杀掉占用显存的僵尸进程

# 杀掉 1 号显卡的所有进程
fuser -v /dev/nvidia1 | xargs -t -n 1 kill -9

# 杀掉 2 号显卡的所有进程
fuser -v /dev/nvidia2 | xargs -t -n 1 kill -9
是Mickey啊
关注
  • 30
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
mmdetection 模型评测指标
03-02
1. mmdet 默认使用的是coco格式的数据集，算法训练模型也是使用的coco格式训练数据； 2. 评测指标同样使用COCO数据集的评测指标，指标如下： 3. 算法评测参数： bbox  —— 目标检测框 segm —— 目标分割结果 4.  模型的判断标准有AP（平均精确率） 和AR（平均召回率） 两大类，在机械臂项目中，主要依据AP 来进行评测。 MAP  ——   mean Average Precision, 即各类别AP的平均值 AP50  ——  IOU 阈值设置成0.5时的AP值，也可协作mAP.5 mAP.5:.95 ——  mAP@[.5:.95](mAP@[.5,.95]) 表示在阈值区间 [0.5, 0.95]，步长为0.5的平均mAP 。IoU thresholds, from 0.5 to 0.95, step 0.05 (0.5, 0.55, 0.6, 0.65, 0.7, 0.75, 0.8, 0.85, 0.9, 0.9
MMDetection（四）：在自己的数据集上训练模型
Airs-Gao的博客
08-24 2342
MMDetection（四）：在自己的数据集上训练模型
基于PaddleDetection中SSD算法实现的火焰识别检测源码+数据集+训练好的模型
12-24
基于PaddleDetection中SSD算法实现的火焰识别检测源码+数据集+训练好的模型 配置文件都配置好 数据集都配置好，有数据配置脚本，执行一下即可。 训练好的模型，数据集 备注】主要针对正在做毕设的同学和需要项目实战的深度学习cv图像识别模式识别方向学习者。 也可作为课程设计、期末大作业。包含：项目源码、训练好的模型、项目操作说明等，该项目可直接作为毕设使用。 也可以用来学习、参考、借鉴。如果基础不错，在此代码上做修改，训练其他模型。
MMDetection实战：MMDetection训练与测试
05-09
MMDetection是商汤和港中文大学针对目标检测任务推出的一个开源项目，它基于Pytorch实现了大量的目标检测算法，把数据集构建、模型搭建、训练策略等过程都封装成了一个个模块，通过模块调用的方式，我们能够以很少的代码量实现一个新算法，大大提高了代码复用率。 GitHub链接：https://github.com/open-mmlab/mmdetection。 Gitee链接：https://gitee.com/open-mmlab/mmdetection。 主分支代码目前支持 PyTorch 1.5 以上的版本。主要特性： 模块化设计 MMDetection 将检测框架解耦成不同的模块组件，通过组合不同的模块组件，用户可以便捷地构建自定义的检测模型 丰富的即插即用的算法和模型 MMDetection 支持了众多主流的和最新的检测算法，例如 Faster R-CNN，Mask R-CNN，RetinaNet 等。 速度快 基本的框和 mask 操作都实现了 GPU 版本，训练速度比其他代码库更快或者相当，包括 Detectron2, maskrcnn-benchm
mmdetection SUN RGB-D数据集Python预处理程序
11-28
文件用于mmdetection3d的SUN RGB-D数据集预处理程序，原始处理程序为matlab版，这里替换成了Python版本。文件包含了数据集分割和标注数据提取两个python脚本文件。具体使用方法请参考本人即将更新的博客：https://blog.csdn.net/suiyingy/article/details/128086017。
mmdetection最新版说明文档.pdf
09-15
mmdetection最新版说明文档.pdf
mmdetection-中文文档(自己翻译).pdf
02-10
由mmdetection英文文档翻译，主要有五章内容，分别介绍了安装、使用、技术细节、模型库以及更新的日志，对于初学者有一定的帮助，要深入理解，下一步就是解毒源码了。
基于MMDetection训练VOC格式数据集
木头VS星星
11-16 2342
基于MMDetection训练VOC格式数据集
快速上手MMDetection学习笔记
AndrewPerfect的博客
08-26 1359
本文利用MMDetection已经实现的RetinaNet模型在COCO上进行训练作为示例，演示了MMDetection的模型训练流程。总的来说分为三个步骤：1、准备数据集2、准备配置文件：配置文件由一系列dict组成，dict中的type键值代表注册的类别，build函数可以通过识别dict中的type来初始化对应的类。配置文件一般会继承一个通用配置文件，然后在此基础上根据需求调整。3、开始训练：调用MMDetection自带的train.py进行训练。
基于MMDetection的atss模型在kitti数据集上进行训练
kybabcde的博客
04-23 988
首先先对COCO数据集的格式做一个介绍，coco数据集的目录结构如下：cocoimages：一个list，里面每个元素是一个字典，包含file_name,height,width,id等内容annotations：一个list，里面每个元素也是一个字典，包含segmentation, area, iscrowd, image_id, bbox, category_id, id等内容。其中对于目标检测任务有用的字段有id, image_id, category_id, bbox, area。
【深度学习】YOLOv5，金属表面的缺陷检测，GC10-DET数据集
最新发布
q742971636的博客
04-26 387
数据集的lable文件夹下是每个图片的框和类别标记，是xml格式。
勾八头歌之RNN
m0_62470904的博客
04-23 465
【代码】勾八头歌之RNN。
【深度学习（1）】研0和研1如何上手深度学习及定方向
weixin_46050242的博客
04-23 236
0基础上手深度学习 包括书籍pdf以及一些推荐的视频
【TensorFlow深度学习】TensorFlow数据类型详解与数值精度影响
yuzhangfeng的博客
04-23 1094
创建全为-1的张量TensorFlow提供的数据类型和数值精度选项为深度学习模型的开发提供了灵活性。开发者应根据具体的应用场景和需求，选择合适的数据类型和数值精度，以平衡模型的性能和结果的准确性。
2024-04-23 问AI: 在深度学习中，介绍一下u-net模型。
baidu_24377669的博客
04-23 916
在U-Net模型的最底部和最顶部之间，存在一个跳跃连接（skip connection），这是U-Net的一个关键创新。此外，由于其结构的对称性和跳跃连接的存在，U-Net在训练时可以利用较少的样本进行高效的网络学习。总的来说，U-Net模型通过其独特的对称结构和跳跃连接，实现了在图像分割任务中的精确且高效的性能。总的来说，U-Net是深度学习领域的一个重要模型，特别是在需要精确图像分割的应用场景中，U-Net展现出了强大的性能和灵活性。U-Net是一个专门为生物医学图像分割设计的深度学习模型，它以其。
深度学习-N维数组和访问元素
Einstein·Jun
04-23 212
N维数组是机器学习和神经网络的主要数据结构。
深度学习基础之《TensorFlow框架（14）—TFRecords》
csj50的专栏
04-23 419
1、TFRecords其实是一种二进制文件，虽然它不如其他格式好理解，但是它能更好的利用内存，更方便复制和移动，并且不需要单独的标签文件。（3）将协议内存块序列化为字符串，并且通过tf.io.TFRecordWriter写入到TFRecords文件。（2）将数据填入到Example协议内存块（protocol buffer）3、文件格式*.tfrecords。一、什么是TFRecords文件。二、Example结构解析。
深度学习下的视觉SLAM综述
一点人工一点智能的博客
04-23 1125
本综述涵盖了深度学习技术应用到SLAM领域的最新研究成果，重点介绍和总结了深度学习在前端跟踪、后端优化、语义建图和不确定性估计中的研究成果,展望了深度学习下视觉SLAM的发展趋势，为后继者了解与应用深度学习技术、研究移动机器人自主定位和建图问题的可行性方案提供助力。
深度学习系列64：数字人wav2lip详解
kittyzc的博客
04-23 308
总体步骤差不多，但是相比于openHeygen要简化很多第一步，加载视频/图片和音频/tts。同样是用melspectrogram将wav文件拆分成mel_chunks。第二步，调用face_detect模型，给出人脸检测结果（可以改造成从文件中读取），包装成4个数组batch：img_batch(人脸)，mel_batch(语音)，frame_batch(原图)，coords_batch(坐标)第三步，加载模型，进行计算。这个模型目前看下来就是简单的resnet，没有transfomer。
MMDETECTION训练自己的数据集
09-03
要使用MMDETECTION训练自己的数据集，您需要以下步骤： 1. 数据准备：收集和标注您自己的数据集。确保您的数据集中包含图像和对应的标注文件，标注文件可以是XML、JSON或其他支持的格式。标注文件应该包含每个图像中对象的类别和边界框坐标。 2. 配置模型：在MMDETECTION中选择合适的模型架构，并修改配置文件以适应您的数据集。您可以根据自己的需求选择不同的模型，如Faster R-CNN、RetinaNet等。配置文件通常位于`configs`目录下，您可以根据需要进行修改。 3. 数据集注册：将您的数据集注册到MMDETECTION中。在`datasets`目录下创建一个新的.py文件，定义一个新的数据集类，并在`__init__.py`中导入该类。 4. 数据预处理：根据您的数据集特点，在`datasets/pipelines`目录下创建一个新的.py文件，定义数据预处理的操作和流程。您可以根据需要添加裁剪、缩放、翻转等操作。 5. 训练模型：使用`tools/train.py`脚本来训练您的模型。在命令行中指定配置文件、数据集和输出目录等参数，并执行训练命令。训练过程中，模型会根据您的数据集进行迭代更新。 6. 模型评估和测试：使用`tools/test.py`脚本对训练好的模型进行评估和测试。指定配置文件、权重文件和测试数据集，并执行相应命令。该过程会生成评估结果，并可视化检测效果。 7. 模型推理：使用训练好的模型进行目标检测推理。使用`tools/infer_single_img.py`脚本对单张图像进行推理，或使用`tools/infer_video.py`脚本对视频进行推理。指定配置文件、权重文件和输入数据，执行相应命令即可。 以上是基本的步骤，您可以根据自己的需要进行进一步的调整和优化。请参考MMDETECTION官方文档以获取更详细的信息和指导。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值