我之前遇到多次loss为nan,一次是由于数据标注出现问题,换不同的模型参数均出现此问题,因此需要仔细检查数据格式;有一次是换了个neck的结构,loss变为nan,后面通过将学习率调为原来的1/10(根据实际情况调整),就没有出现了;还有一次是注释掉fp16训练即可。下面参考了官方文档给出的解决方案以及自身经验,应该可以解决大部分问题。
-
检查数据的标注是否正常, 长或宽为 0 的框可能会导致回归 loss 变为 nan,一些小尺寸(宽度或高度小于 1)的框在数据增强(例如,instaboost)后也会导致此问题。 因此,可以检查标注并过滤掉那些特别小甚至面积为 0 的框,并关闭一些可能会导致 0 面积框出现数据增强。
-
降低学习率:由于某些原因,例如 batch size 大小的变化, 导致当前学习率可能太大。 您可以降低为可以稳定训练模型的值。
optimizer = dict(type='AdamW', lr=0.0001, betas=(0.9, 0.999), weight_decay=0.05, # 0.001 paramwise_cfg=dict(custom_keys={'absolute_pos_embed': dict(decay_mult=0.), 'relative_position_bias_table': dict(decay_mult=0.), 'norm': dict(decay_mult=0.)}))
-
延长 warm up 的时间:一些模型在训练初始时对学习率很敏感,您可以把
warmup_iters
从 500 更改为 1000 或 2000。lr_config = dict( policy='step', warmup='linear', warmup_iters=500, # 修改这里 Epoch [1][500/xxxx]之前的学习率的意思 warmup_ratio=0.001, step=[8, 11])
-
添加 gradient clipping: 一些模型需要梯度裁剪来稳定训练过程。 默认的
grad_clip
是None
, 你可以在 config 设置optimizer_config=dict(_delete_=True, grad_clip=dict(max_norm=35, norm_type=2))
如果你的 config 没有继承任何包含optimizer_config=dict(grad_clip=None)
, 你可以直接设置optimizer_config=dict(grad_clip=dict(max_norm=35, norm_type=2))
.optimizer_config = dict(grad_clip=dict(max_norm=35, norm_type=2))
-
不使用fp16训练: 如果用了fp16训练,可尝试将其注释掉。
# fp16 = dict(loss_scale=512.)
参考: