自动调整训练过程中的学习率

# Scaling LR automatically
auto_scale_lr = dict(enable=False, base_batch_size=16)

auto_scale_lr 是一个字典类型的参数,用于自动调整训练过程中的学习率。这个参数的含义如下:

1. enable: 是否开启自动学习率缩放功能。如果设置为 True，则会根据实际的 batch size 自动调整学习率。

2. base_batch_size: 指定一个基准的 batch size。当实际的 batch size 与这个基准 batch size 不一致时,就会根据比例关系自动调整学习率。

具体来说:

• 如果 auto_scale_lr 的 enable 设置为 False，则不会进行自动学习率缩放。

• 如果 enable 设置为 True，并且 base_batch_size 设置为 16，那么:

  • 如果实际的 batch size 是 32，那么学习率会自动乘以 2（32 / 16 = 2）
  • 如果实际的 batch size 是 8，那么学习率会自动除以 2（8 / 16 = 0.5）

这样做的目的是为了保证不同 batch size 下模型训练的效果是一致的。因为学习率的大小与 batch size 成反比,所以需要根据实际的 batch size 自动调整学习率,以确保训练的稳定性和收敛性。