mmdetection进阶之相关技巧汇总

最新推荐文章于 2024-03-28 10:47:23 发布
最新推荐文章于 2024-03-28 10:47:23 发布
阅读量1.5k 收藏 19
点赞数 3
分类专栏： mmdetection 目标检测 文章标签： mmdetection
原文链接：https://zhuanlan.zhihu.com/p/102817180
版权

mmdetection检测相关技巧

albumentations数据增强

alb的数据增强方式输入输出和mmdetection一致所以可以很好的嵌入到框架中

train_pipeline = [
    dict(type='LoadImageFromFile'),
    dict(type='LoadAnnotations', with_bbox=True),
    dict(type='Albu', transforms = [{"type": 'RandomRotate90'}]),# 数据增强
    dict(type='Resize', img_scale=(1333, 800), keep_ratio=True),
    dict(type='RandomFlip', flip_ratio=0.5),
    dict(type='Normalize', **img_norm_cfg),
    dict(type='Pad', size_divisor=32),
    dict(type='DefaultFormatBundle'),
    dict(type='Collect', keys=['img', 'gt_bboxes', 'gt_labels']),
]

多尺度训练

train_pipeline = [
    dict(type='LoadImageFromFile'),
    dict(type='LoadAnnotations', with_bbox=True),
    dict(type='Resize', img_scale=[(1333, 800),(1333,640)] keep_ratio=True), #这里可以更换多尺度[(),()]
    dict(type='RandomFlip', flip_ratio=0.5),
    dict(type='Normalize', **img_norm_cfg),
    dict(type='Pad', size_divisor=32),
    dict(type='DefaultFormatBundle'),
    dict(type='Collect', keys=['img', 'gt_bboxes', 'gt_labels']),
]

主要看 dict(type=‘Resize’, img_scale=[(1333, 800),(1333,640)] keep_ratio=True),参数，这里代表的意义是最大边不能超过1333，最小边在640-800之间选择。当keep_ratio=False时，img_scale的多尺度可以为任意多个。假设多尺度为[(2000, 1200), (1666, 1000),(1333, 800)]，则代表的含义为：随机从三个尺度中选取一个作为图像的尺寸进行训练。

OHEM 在线难例挖掘

rcnn=[
        dict(
            assigner=dict(
                type='MaxIoUAssigner',
                pos_iou_thr=0.4, # 更换
                neg_iou_thr=0.4,
                min_pos_iou=0.4,
                ignore_iof_thr=-1),
            sampler=dict(
                type='OHEMSampler',
                num=512,
                pos_fraction=0.25,
                neg_pos_ub=-1,
                add_gt_as_proposals=True),
            pos_weight=-1,
            debug=False),
        dict(
            assigner=dict(
                type='MaxIoUAssigner',
                pos_iou_thr=0.5,
                neg_iou_thr=0.5,
                min_pos_iou=0.5,
                ignore_iof_thr=-1),
            sampler=dict(
                type='OHEMSampler', # 解决难易样本，也解决了正负样本比例问题。
                num=512,
                pos_fraction=0.25,
                neg_pos_ub=-1,
                add_gt_as_proposals=True),
            pos_weight=-1,
            debug=False),
        dict(
            assigner=dict(
                type='MaxIoUAssigner',
                pos_iou_thr=0.6,
                neg_iou_thr=0.6,
                min_pos_iou=0.6,
                ignore_iof_thr=-1),
            sampler=dict(
                type='OHEMSampler',
                num=512,
                pos_fraction=0.25,
                neg_pos_ub=-1,
                add_gt_as_proposals=True),
            pos_weight=-1,
            debug=False)
    ],
    stage_loss_weights=[1, 0.5, 0.25])

主要是用于两阶段目标检测中正样本的proposal，对应的修改其sampler的type为OHEMSampler即可。

softnms

softnms一般使用在test中

test_cfg = dict(
    rpn=dict(
        nms_across_levels=False,
        nms_pre=1000,
        nms_post=1000,
        max_num=1000,
        nms_thr=0.7,
        min_bbox_size=0),
      rcnn=dict(
   nms=dict(type='soft_nms', iou_thr=0.5, min_score=0.001)            # soft_nms参数
)

cascade rcnn

fp16 = dict(loss_scale=512.)
# model settings
model = dict(
    type='CascadeRCNN',
    num_stages=3,
    pretrained='torchvision://resnet50',
    backbone=dict(
        type='ResNet',
        depth=50,
        num_stages=4,
        out_indices=(0, 1, 2, 3),
        frozen_stages=1,
        style='pytorch',
        #dcn=dict( #在最后三个block加入可变形卷积 
         #   modulated=False, deformable_groups=1, fallback_on_stride=False),
          #  stage_with_dcn=(False, True, True, True)
        ),
    neck=dict(
        type='FPN',
        in_channels=[256, 512, 1024, 2048],
        out_channels=256,
        num_outs=5),
    rpn_head=dict(
        type='RPNHead',
        in_channels=256,
        feat_channels=256,
        anchor_scales=[8],
        anchor_ratios=[0.2, 0.5, 1.0, 2.0, 5.0], # 添加了0.2，5，过两天发图
        anchor_strides=[4, 8, 16, 32, 64],
        target_means=[.0, .0, .0, .0],
        target_stds=[1.0, 1.0, 1.0, 1.0],
        loss_cls=dict(
            type='FocalLoss', use_sigmoid=True, loss_weight=1.0), # 修改了loss，为了调控难易样本与正负样本比例
        loss_bbox=dict(type='SmoothL1Loss', beta=1.0 / 9.0, loss_weight=1.0)),
    bbox_roi_extractor=dict(
        type='SingleRoIExtractor',
        roi_layer=dict(type='RoIAlign', out_size=7, sample_num=2),
        out_channels=256,
        featmap_strides=[4, 8, 16, 32]),
    bbox_head=[
        dict(
            type='SharedFCBBoxHead',
            num_fcs=2,
            in_channels=256,
            fc_out_channels=1024,
            roi_feat_size=7,
            num_classes=11,
            target_means=[0., 0., 0., 0.],
            target_stds=[0.1, 0.1, 0.2, 0.2],
            reg_class_agnostic=True,
            loss_cls=dict(
                type='CrossEntropyLoss', use_sigmoid=False, loss_weight=1.0),
            loss_bbox=dict(type='SmoothL1Loss', beta=1.0, loss_weight=1.0)),
        dict(
            type='SharedFCBBoxHead',
            num_fcs=2,
            in_channels=256,
            fc_out_channels=1024,
            roi_feat_size=7,
            num_classes=11,
            target_means=[0., 0., 0., 0.],
            target_stds=[0.05, 0.05, 0.1, 0.1],
            reg_class_agnostic=True,
            loss_cls=dict(
                type='CrossEntropyLoss', use_sigmoid=False, loss_weight=1.0),
            loss_bbox=dict(type='SmoothL1Loss', beta=1.0, loss_weight=1.0)),
        dict(
            type='SharedFCBBoxHead',
            num_fcs=2,
            in_channels=256,
            fc_out_channels=1024,
            roi_feat_size=7,
            num_classes=11,
            target_means=[0., 0., 0., 0.],
            target_stds=[0.033, 0.033, 0.067, 0.067],
            reg_class_agnostic=True,
            loss_cls=dict(
                type='CrossEntropyLoss', use_sigmoid=False, loss_weight=1.0),
            loss_bbox=dict(type='SmoothL1Loss', beta=1.0, loss_weight=1.0))
    ])
# model training and testing settings
train_cfg = dict(
    rpn=dict(
        assigner=dict(
            type='MaxIoUAssigner',
            pos_iou_thr=0.7,
            neg_iou_thr=0.3,
            min_pos_iou=0.3,
            ignore_iof_thr=-1),
        sampler=dict(
            type='RandomSampler', 
            num=256,
            pos_fraction=0.5,
            neg_pos_ub=-1,
            add_gt_as_proposals=False),
        allowed_border=0,
        pos_weight=-1,
        debug=False),
    rpn_proposal=dict(
        nms_across_levels=False,
        nms_pre=2000,
        nms_post=2000,
        max_num=2000,
        nms_thr=0.7,
        min_bbox_size=0),
    rcnn=[
        dict(
            assigner=dict(
                type='MaxIoUAssigner',
                pos_iou_thr=0.4, # 更换
                neg_iou_thr=0.4,
                min_pos_iou=0.4,
                ignore_iof_thr=-1),
            sampler=dict(
                type='OHEMSampler',
                num=512,
                pos_fraction=0.25,
                neg_pos_ub=-1,
                add_gt_as_proposals=True),
            pos_weight=-1,
            debug=False),
        dict(
            assigner=dict(
                type='MaxIoUAssigner',
                pos_iou_thr=0.5,
                neg_iou_thr=0.5,
                min_pos_iou=0.5,
                ignore_iof_thr=-1),
            sampler=dict(
                type='OHEMSampler', # 解决难易样本，也解决了正负样本比例问题。
                num=512,
                pos_fraction=0.25,
                neg_pos_ub=-1,
                add_gt_as_proposals=True),
            pos_weight=-1,
            debug=False),
        dict(
            assigner=dict(
                type='MaxIoUAssigner',
                pos_iou_thr=0.6,
                neg_iou_thr=0.6,
                min_pos_iou=0.6,
                ignore_iof_thr=-1),
            sampler=dict(
                type='OHEMSampler',
                num=512,
                pos_fraction=0.25,
                neg_pos_ub=-1,
                add_gt_as_proposals=True),
            pos_weight=-1,
            debug=False)
    ],
    stage_loss_weights=[1, 0.5, 0.25])
test_cfg = dict(
    rpn=dict(
        nms_across_levels=False,
        nms_pre=1000,
        nms_post=1000,
        max_num=1000,
        nms_thr=0.7,
        min_bbox_size=0),
    rcnn=dict(
        score_thr=0.05, nms=dict(type='nms', iou_thr=0.5), max_per_img=20)) # 这里可以换为soft_nms
# dataset settings
dataset_type = 'CocoDataset'
data_root = '../../data/chongqing1_round1_train1_20191223/'
img_norm_cfg = dict(
    mean=[123.675, 116.28, 103.53], std=[58.395, 57.12, 57.375], to_rgb=True)
train_pipeline = [
    dict(type='LoadImageFromFile'),
    dict(type='LoadAnnotations', with_bbox=True),
    dict(type='Resize', img_scale=(492,658), keep_ratio=True), #这里可以更换多尺度[(),()]
    dict(type='RandomFlip', flip_ratio=0.5),
    dict(type='Normalize', **img_norm_cfg),
    dict(type='Pad', size_divisor=32),
    dict(type='DefaultFormatBundle'),
    dict(type='Collect', keys=['img', 'gt_bboxes', 'gt_labels']),
]
test_pipeline = [
    dict(type='LoadImageFromFile'),
    dict(
        type='MultiScaleFlipAug',
        img_scale=(492,658),
        flip=False,
        transforms=[
            dict(type='Resize', keep_ratio=True),
            dict(type='RandomFlip'),
            dict(type='Normalize', **img_norm_cfg),
            dict(type='Pad', size_divisor=32),
            dict(type='ImageToTensor', keys=['img']),
            dict(type='Collect', keys=['img']),
        ])
]
data = dict(
    imgs_per_gpu=8, # 有的同学不知道batchsize在哪修改，其实就是修改这里，每个gpu同时处理的images数目。
    workers_per_gpu=2,
    train=dict(
        type=dataset_type,
        ann_file=data_root + 'fixed_annotations.json', # 更换自己的json文件
        img_prefix=data_root + 'images/', # images目录
        pipeline=train_pipeline),
    val=dict(
        type=dataset_type,
        ann_file=data_root + 'fixed_annotations.json',
        img_prefix=data_root + 'images/',
        pipeline=test_pipeline),
    test=dict(
        type=dataset_type,
        ann_file=data_root + 'fixed_annotations.json',
        img_prefix=data_root + 'images/',
        pipeline=test_pipeline))
# optimizer
optimizer = dict(type='SGD', lr=0.001, momentum=0.9, weight_decay=0.0001) # lr = 0.00125*batch_size，不能过大，否则梯度爆炸。
optimizer_config = dict(grad_clip=dict(max_norm=35, norm_type=2))
# learning policy
lr_config = dict(
    policy='step',
    warmup='linear',
    warmup_iters=500,
    warmup_ratio=1.0 / 3,
    step=[6, 12, 19])
checkpoint_config = dict(interval=1)
# yapf:disable
log_config = dict(
    interval=64,
    hooks=[
        dict(type='TextLoggerHook'), # 控制台输出信息的风格
        # dict(type='TensorboardLoggerHook') # 需要安装tensorflow and tensorboard才可以使用
    ])
# yapf:enable
# runtime settings
total_epochs = 20
dist_params = dict(backend='nccl')
log_level = 'INFO'
work_dir = '../work_dirs/cascade_rcnn_r50_fpn_1x' # 日志目录
load_from = '../work_dirs/cascade_rcnn_r50_fpn_1x/latest.pth' # 模型加载目录文件
#load_from = '../work_dirs/cascade_rcnn_r50_fpn_1x/cascade_rcnn_r50_coco_pretrained_weights_classes_11.pth'
resume_from = None
workflow = [('train', 1)]
小涵涵
关注
  • 3
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
mmdetection小技巧(强烈推荐 逐步完善中)
认真努力，做一只会飞的毛毛虫。
02-28 9568
小技巧一：在mmdetection中所有的配置文件，都有这样一行代码，如果要做目标检测，则引用coco_detection.py，如果要做目标检测，则引用coco_instance.py。在训练Swin Transformer的时候，这里的修改尤为常见，具体看你需要做什么，这里我们是做目标检测。 _base_ = [ '../_base_/models/mask_rcnn_r50_fpn.py', '../_base_/datasets/coco_detection.py',
MMdetection(个人学习记录)
weixin_41227970的博客
10-22 1320
1.安装 win10,python3.6,torch 1.5.1 https://blog.csdn.net/david_lee13/article/details/102940221 1.vs2017安装 https://visualstudio.microsoft.com/downloads. 2.
目标检测系列：OHEM
qq_39068872的博客
03-16 456
论文连接：Training Region-based Object Detectors with Online Hard Example Mining 1. 提出问题 本文提出针对的问题： 我们都知道，目标检测的原理就是通过枚举大量的候选框，这些框会包括所有物体，同时也会有更加多的只包含背景的框，正负样例的比例大约在70:1，者很显然是不好的，如果能减小这个比例，那很显然会更快的训练，并且拥有更高...
【目标检测——OHEM 解读】处理类别不平衡问题
m0_61139217的博客
11-06 2084
之前做个一个目标检测任务，每个类别之间的数据量差距较大，有明显的类别不均衡现象（当样本比例大于4：1时）。对于目标检测，可以使用OHEM技术进行扩大数据广度。使用基于交叉熵损失改进的Focal Loss损失函数。对类别多的数据类别进行欠采样（减少一些重复的数据）。对于类别较少的数据使用过采样，通过数据增广（色彩变换，仿射变换等）进行扩充。本篇博客主要会记录在研究OHEM技术时的一些总结。
目标检测之六：OHEM 在线难例挖掘
gaotihong的博客
02-26 2776
https://zhuanlan.zhihu.com/p/102817180 6.OHEM 在线难例挖掘 OHEM(Online Hard negative Example Mining，在线难例挖掘)见于[5]。两阶段检测模型中，提出的RoI Proposal在输入R-CNN子网络前，我们有机会对正负样本（背景类和前景类）的比例进行调整。通常，背景类的RoI Proposal个数要远远多于前...
mmdetection——assign and sample
silence2015的专栏
03-29 2401
assign和sample是在anchor target中的核心操作。 assign一般基于IOU，mmdet中也有基于atss和基于point的等。 sample一般为随机，也有ohem的，基于伪标签的。 MaxIoUAssigner 这是常用的assign方法，下面为mmdet中该类介绍及构造函数参数说明 """Assign a corresponding gt bbox or backgro...
MMDetection3D对三维数据进行检测
最新发布
03-28
安装和配置MMDetection3D：首先，用户需要按照官方文档或相关教程进行MMDetection3D的安装和配置。这通常包括安装必要的依赖库、设置环境变量以及下载MMDetection3D的代码库。 准备三维数据集：为了进行三维目标检测...
MMDetection'document.pdf
01-13
MMDetection'document
mmdetection最新版说明文档.pdf
09-15
MMDetection最新版说明文档.pdf MMDetection是OpenMMLab开源的计算机视觉检测工具包，提供了丰富的模型库和灵活的配置系统，以满足不同的计算机视觉检测需求。下面是MMDetection最新版说明文档的知识点总结： 安装...
mmdetection源码注释
01-17
商汤科技（2018 COCO 目标检测挑战赛冠军）和香港中文大学最近开源了一个基于Pytorch实现的深度学习目标检测工具箱mmdetection，支持Faster-RCNN，Mask-RCNN，Fast-RCNN等主流的目标检测框架，后续会加入Cascade-...
TensorRT-使用TensorRT部署mmdetection模型-支持fp16+int8+动态shape-优质部署项目
02-27
TensorRT_使用TensorRT部署mmdetection模型_支持fp16+int8+动态shape_优质部署项目.zip
MMDetection实战：MMDetection训练与测试
05-09
MMDetection是商汤和港中文大学针对目标检测任务推出的一个开源项目，它基于Pytorch实现了大量的目标检测算法，把数据集构建、模型搭建、训练策略等过程都封装成了一个个模块，通过模块调用的方式，我们能够以很少的...
mmdetection v2.0版本的一些模型使用技巧
weixin_41693877的博客
04-25 5035
最近在学习如何使用mmdetection，收集了一下目前所看到的一些trick和技巧。 参考文章： mmdetection 模型训练技巧 入门mmdetection（捌）—聊一聊FP16 目标检测比赛中的tricks（已更新更多代码解析） 1. FP16训练 在mmdetection中，使用FP16非常方便，只需要在configs下的模型文件里添加一行即可。 _base_ = './faster_rcnn_r50_fpn_1x_coco.py' # loss_scale你可以自己指定，几百到1000比
mmdetection源码解读（二）
Haku_yyf的博客
10-10 1998
一：关于Python修饰符@property和装饰器(decorator)等的解释和用法（参考博客（地址）） 二：mmdetection/mmdet/core/fp16/utils.py from collections import abc import numpy as np import torch def cast_tensor_type(inputs, src_type...
MMDetection课程之目标检测模型回顾
weixin_40671801的博客
06-09 110
简单负样本占更多的比重，困难负样本数量少，但是模型优化的重点却应该是困难负样本，因此构造focal loss函数能够平衡权重，使模型聚焦于优化困难样本。，比如说预测位置得分最好的可能和预测类别得分最好的并不是同一个特征，但是最后筛选的时候简单的将cld和obj相乘作为筛选的依据，但训练过程中并不是这样去学习的。，在yolox中会先进行初筛，GT框内部和中心点附近的框会保留，外部的直接不参与匹配，保留的框剔除正样本应该才是所谓的负样本。比如一个GT框，与之完全重合的肯定是正样本，但是。目标检测模型可以分为。
[mmdetection 混合精度]用fastrcnn实测混合精度fp16效果
机器视觉爱好者的博客
01-27 3168
先上对比图： 原本训练效果： 经过fp16混合精度训练效果： 结果： 1.GPU Menmory 4201MB/5853MB=0.71775 GPU-Util 0.66/0.74=0.89189 2.训练总时间： 1day 15:34/2day 4:00=2374/3120=0.76089 3.time ...
零碎知识点-mmdetection
weixin_45670912的博客
03-22 228
import torch import torchvision print(torch.__version__) print(torchvision.__version__) exit() // 退出 // 这是版本查看问题 cat /usr/local/cuda/version.txt // 这是查看cuda的版本 ...
mmdetection改进优化（自己改进步骤）
酸菜鱼Cc的博客
03-28 386
SwinTransformer系列特征提取网络，有三个版本：Large、Small、Tiny。SwinTransformer_large训练的模型精度最优，但是模型太大，用实验室的单GPU跑不起来。
mmdetection的configs中的各项参数具体解释
热门推荐
hajlyx的博客
01-07 5万+
简介 在使用mmdetection对模型进行调优的过程中总会遇到很多参数的问题，不知道参数在代码中是什么作用，会对训练产生怎样的影响，这里我以faster_rcnn_r50_fpn_1x.py和cascade_rcnn_r50_fpn_1x.py为例，简单介绍一下mmdetection中的各项参数含义 faster_rcnn_r50_fpn_1x.py 首先介绍一下这个配置文件所描述的框架，它是基...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值