mmaction2 指南
Outline
7. 自定义Runtime Settings
使用pytorch的优化器
optimizer = dict(type='Adam', lr=0.0003, weight_decay=0.0001)
optimizer = dict(type='Adam', lr=0.001, betas=(0.9, 0.999), eps=1e-08, weight_decay=0, amsgrad=False)
自定义优化器
附加配置
使用gradient clip 让训练过程平稳
optimizer_config = dict(grad_clip=dict(max_norm=35, norm_type=2))
使用动量momentum加速收敛
CyclicLrUpdater
lr_config = dict(
policy='cyclic',
target_ratio=(10, 1e-4),
cyclic_times=1,
step_ratio_up=0.4,
)
momentum_config = dict(
policy='cyclic',
target_ratio=(0.85 / 0.95, 1),
cyclic_times=1,
step_ratio_up=0.4,
)
自定义训练策略
参考