CocO数据集上预训练的检测器可以作为其他数据集的良好预训练模型,如CityScapes和KITTI数据集。本教程为用户提供使用Model Zoo中提供的模型获取其他数据集的更好性能的指导。
在新数据集上微调模型有两个步骤。
Add support for the new dataset following Tutorial 2: Customize Datasets.
Modify the configs as will be discussed in this tutorial
以Cityscapes Dataset的微调过程为例,用户需要修改配置中的五个部分。
继承基础配置
为了减轻编写整个配置的负担并减少bug, MMDetection V2.0支持从多个现有配置中继承配置。要微调一个Mask RCNN模型,新配置需要继承_base_/models/mask_rcnn_r50_fpn.py来构建模型的基本结构。要使用Cityscapes数据集,新的配置也可以简单地继承base_/datasets/cityscapes_instance.py。对于诸如培训计划之类的运行时设置,新配置需要继承_base_/default_runtime.py。这些配置位于configs目录中,用户也可以选择写入全部内容,而不是使用继承。
_base_ = [
'../_base_/models/mask_rcnn_r50_fpn.py',
'../_base_/datasets/cityscapes_instance.py', '../_base_/default_runtime.py'
]
_base_ = [
'../_base_/models/mask_rcnn_swin_fpn.py',
'../_base_/datasets/coco_instance.py', #做目标检测,修改为coco_detection.py
'../_base_/schedules/schedule_1x.py', '../_base_/default_runtime.py'
]
Modify head
然后,新的配置需要根据新数据集的类别数量修改头部。通过只改变roi_head中的num_classes,除最终预测头外,预训练模型的权值大部分被重用。
model = dict(
pretrained=None,
roi_head=dict(
bbox_head=dict(
type='Shared2FCBBoxHead',
in_channels=256,
fc_out_channels=1024,
roi_feat_size=7,
num_classes=8, #修改
bbox_coder=dict(
type='DeltaXYWHBBoxCoder',
target_means=[0., 0., 0., 0.],
target_stds=[0.1, 0.1, 0.2, 0.2]),
reg_class_agnostic=False,
loss_cls=dict(
type='CrossEntropyLoss', use_sigmoid=False, loss_weight=1.0),
loss_bbox=dict(type='SmoothL1Loss', beta=1.0, loss_weight=1.0)),
mask_head=dict(
type='FCNMaskHead',
num_convs=4,
in_channels=256,
conv_out_channels=256,
num_classes=8,#修改
loss_mask=dict(
type='CrossEntropyLoss', use_mask=True, loss_weight=1.0))))
Modify dataset
用户可能还需要准备数据集并编写关于数据集的配置。MMDetection V2.0已经支持VOC, WIDER FACE, COCO和cityscape Dataset。
Modify training schedule
微调超参数与默认的时间表不同。它通常需要更小的学习速度和更少的训练时间
# optimizer
# lr is set for a batch size of 8
optimizer = dict(type='SGD', lr=0.01, momentum=0.9, weight_decay=0.0001)
optimizer_config = dict(grad_clip=None)
# learning policy
lr_config = dict(
policy='step',
warmup='linear',
warmup_iters=500,
warmup_ratio=0.001,
step=[7])
# the max_epochs and step in lr_config need specifically tuned for the customized dataset
runner = dict(max_epochs=8)
log_config = dict(interval=100)
用pre-trained模型
要使用预训练模型,新配置在load_from中添加了预训练模型的链接。用户可能需要在训练前下载模型权重,以避免训练期间的下载时间。
load_from = 'https://download.openmmlab.com/mmdetection/v2.0/mask_rcnn/mask_rcnn_r50_caffe_fpn_mstrain-poly_3x_coco/mask_rcnn_r50_caffe_fpn_mstrain-poly_3x_coco_bbox_mAP-0.408__segm_mAP-0.37_20200504_163245-42aa3d00.pth' # noqa