MMdetection-教程5：自定义运行设置

最新推荐文章于 2024-04-10 19:37:49 发布

L闰土

最新推荐文章于 2024-04-10 19:37:49 发布

阅读量2.7k

点赞数 3

分类专栏：目标检测 MMdetection 文章标签： pytorch 深度学习人工智能

原文链接：https://mmdetection.readthedocs.io/en/latest/tutorials/customize_runtime.html#customize-hooks

版权

目标检测同时被 2 个专栏收录

9 篇文章 3 订阅

订阅专栏

MMdetection

7 篇文章 2 订阅

订阅专栏

自定义优化器构造函数（optimizer constructor）

其他设置

自定义训练策略（training schedules）

自定义优化设置（optimization settings）

自定义pytorch支持的优化器

我们已经支持所有由pytorch实现的优化器，只需改变配置文件中的optimizer域即可。例如，如果你想使用ADAM（注意，性能可能会降低），做如下修改：

optimizer = dict(type='Adam', lr=0.0003, weight_decay=0.0001)

用户仅需修改优化器配置中的lr即可调整模型的学习率。用户可根据Python提供的API doc设置参数。

自定义自主实现的优化器

1.定义一个新的优化器

自定义优化器应按照如下步骤定义：

假设你想添加一个拥有参数a，b和c，名为MyOptimizer的优化器。你需要创建一个新的目录mmdet/core/optimizer。然后在文件中实现新的优化器，例如，在mmdet/core/optimizer/my_optimizer.py：

from .registry import OPTIMIZERS
from torch.optim import Optimizer


@OPTIMIZERS.register_module()
class MyOptimizer(Optimizer):

    def __init__(self, a, b, c)

2.添加优化器到注册表

为了能够找到上述模块，该模块应首先被导入主命名空间（main namespace）。有两种可选方式。

（1）修改mmdet/core/optimizer/__init__.py导入。

新定义的模块应该在mmdet/core/optimizer/__init__.py中被导入，以便注册表可以查询到并添加它：

from .my_optimizer import MyOptimizer

（2）在配置文件中使用custom_imports手动导入：

custom_imports = dict(imports=['mmdet.core.optimizer.my_optimizer'], allow_failed_imports=False)

模块mmdet.core.optimizer.my_optimizer将会在程序开始时被导入，并且MyOptimizer类会被自动注册。注意，仅有包含MyOptimizer类的包会被导入，mmdet.core.optimizer.my_optimizer.MyOptimizer不会被直接导入。

实际上用户通过这种导入方法可以使用完全不同的目录结构，只要模块的根目录能包含在PYTHONPATH中。

3.在配置文件中指定优化器

然后你就可以在配置文件中的optimizer域使用MyOptimizer。在这个配置文件中，优化器被optimizer域作如下定义：

optimizer = dict(type='SGD', lr=0.02, momentum=0.9, weight_decay=0.0001)

为了使用自己的优化器，对域作如下改变：

optimizer = dict(type='MyOptimizer', a=a_value, b=b_value, c=c_value)

自定义优化器构造函数（optimizer constructor）

一些模块可能对优化器有特定的参数设置，例如BN层的权重衰减。用户可通过自定义优化器构造函数来实现参数的精细调整。

from mmcv.utils import build_from_cfg

from mmcv.runner.optimizer import OPTIMIZER_BUILDERS, OPTIMIZERS
from mmdet.utils import get_root_logger
from .my_optimizer import MyOptimizer


@OPTIMIZER_BUILDERS.register_module()
class MyOptimizerConstructor(object):

    def __init__(self, optimizer_cfg, paramwise_cfg=None):

    def __call__(self, model):

        return my_optimizer

默认的构造函数实现方法在这里，可以作为新的构造函数的模板。

其他设置

待更新......

自定义训练策略（training schedules）

默认情况下，我们使用逐步学习率和1x策略，这调用了MMCV中的StepLRHook。我们支持很多其他的学习率策略（这里），例如CosineAnnealing和Poly策略。这里给出一些例子。

Poly策略：

lr_config = dict(policy='poly', power=0.9, min_lr=1e-4, by_epoch=False)

ConsineAnnealing策略：

lr_config = dict(
    policy='CosineAnnealing',
    warmup='linear',
    warmup_iters=1000,
    warmup_ratio=1.0 / 10,
    min_lr_ratio=1e-5)

自定义工作流（workflow）

官网给的方法不再适用，可直接在配置文件中的evaluation域指定验证上一轮训练模型的间隔和评价指标，对于COCO格式数据集而言，默认配置如下：

evaluation = dict(interval=1, metric='bbox')

自定义钩子（hooks）

定义自主实现的钩子

1.实现一个新钩子

有时用户可能需要实现一个新的钩子。MMD从v2.3.0开始支持在训练过程中使用自定义钩子。因此用户可以直接在mmdet或者他们基于mmdet的源码中实现一个钩子，并通过修改训练的配置文件来使用它。在v2.3.0之前，用户需要在训练之前修改源码使得钩子完成注册。这里我们给出一个在mmdet中创建新钩子并在训练中使用它的例子。

from mmcv.runner import HOOKS, Hook


@HOOKS.register_module()
class MyHook(Hook):

    def __init__(self, a, b):
        pass

    def before_run(self, runner):
        pass

    def after_run(self, runner):
        pass

    def before_epoch(self, runner):
        pass

    def after_epoch(self, runner):
        pass

    def before_iter(self, runner):
        pass

    def after_iter(self, runner):
        pass

用户需要根据钩子的功能，指定其在训练过程中的每个阶段before_run，after_run，after_epoch，before_epoch，before_iter和after_iter的行为。

2.注册新钩子

然后我们需要导入MyHook。假设该文件在mmdet/core/utils/my_hook.py路径下，有两种实现方法：

（1）修改mmdet/core/utils/__init__.py来导入。

新定义的模块应该在mmdet/core/utils/__init__.py被导入，以便Registry可以发现并添加它：

from .my_hook import MyHook

（2）使用custom_imports在配置文件中手动导入：

custom_imports = dict(imports=['mmdet.core.utils.my_hook'], allow_failed_imports=False)

3.修改配置文件

custom_hooks = [
    dict(type='MyHook', a=a_value, b=b_value)
]

你也可以通过如下方法添加键priority等于'NORMAL'或 'HIGHEST'设置钩子的优先级：

custom_hooks = [
    dict(type='MyHook', a=a_value, b=b_value, priority='NORMAL')
]

注册过程中钩子默认优先级为NORMAL。

使用MMCV实现的钩子

如果钩子在MMCV中已经实现，你可以直接修改配置文件使用钩子：

4.例子：NumClassCheckHook

我们实现了一个名为NumClassCheckHook的钩子来检查在头部的num_classes是否匹配dataset中CLASSES的长度。

我们将它设置在default_runtime.py文件中。

custom_hooks = [dict(type='NumClassCheckHook')]

修改默认的runtime钩子

以下是一些常见的钩子，它们并没有通过custom_hooks注册。

log_config
checkpoint_config
evaluation
lr_config
optimizer_config
momentum_config

在这些钩子中，只有logger钩子拥有VERY_LOW优先级，其他优先级均为NORMAL。上述提到的教程已经覆盖了如何修改optimizer_config，momentum_config和lr_config，这里我们展示log_config，checkpoint_config和evaluation的使用。

Checkpoint config

MMCV runner使用checkpoint_config初始化CheckpointHook。

checkpoint_config = dict(interval=1)

用户可以设置max_keep_ckpts来保存少数checkpoints文件，或者通过save_optimizer决定是否存储优化器的状态字典。更多参数细节参考这里。

Log config

log_config封装了多个logger钩子，并且能设置间隔。现在MMCV支持WandbLoggerHook，MlflowLoggerHook和TensorboardLoggerHook，详细使用方法请参考文档。

log_config = dict(
    interval=50,
    hooks=[
        dict(type='TextLoggerHook'),
        dict(type='TensorboardLoggerHook')
    ])

Evaluation config

evaluation的配置将被用于EvalHook的初始化。除了键interval，其他参数例如metric将会被传入dataset.evaluate()

evaluation = dict(interval=1, metric='bbox')

L闰土

关注

3
点赞
踩
17

收藏

觉得还不错? 一键收藏
0
评论
MMdetection-教程5：自定义运行设置

目录自定义优化设置自定义pytorch支持的优化器自定义自主实现的优化器1.定义一个新的优化器2.添加优化器到注册表3.在配置文件中指定优化器自定义优化器构造函数（optimizer constructor）其他设置自定义训练策略（training schedules）自定义工作流（workflow）自定义钩子（hooks）定义自主实现的钩子使用MMCV实现的钩子修改默认的runtime钩子自定义优化设置（optimization settin
复制链接

扫一扫