Training/Lr Schedules说明

Training/Lr Schedules说明

我们经常在论文中的描述或开源项目中的表格对比中可以看到$\text{1x}/\text{2x}/\text{3x}\text{training/lr schedule}$这样的关键词，下面就对此关键词进行简单的解释说明。

ps：下文中所说的epoch，如果没有特别说明，则默认是指在coco_2017_train训练集上迭代的epoch。

Detectron中的Training Schedules

首先，这个关键词最早出现在Detectron中，在Detectron框架中使用了3种$\text{training schedules}$，具体如下（原文解释如图）：

• $\text{1x}$：对于batch size为16时，$\text{1x}$的训练策略表示初始学习率为$LR=0.02$，并在60K和80K次迭代后分别衰减为之前的0.1，最后在90K次迭代完成后结束训练。$\text{1x}$的训练策略大约在118287张图片的coco_2017_train训练集上迭代了12.17个epochs。
• $\text{2x}$：$\text{2x}$的训练策略是$\text{1x}$的训练策略的两倍，学习率衰减的的迭代点按比例缩放，即在120K和160K次迭代后分别衰减为之前的0.1。
• $\text{s1x("stretched 1x")}$：这种策略将$\text{1x}$的训练策略缩放大约1.44倍，并延长了第一次学习率衰减前迭代的时间。具体地，在100K和120K次迭代后分别衰减为之前的0.1，最后在130K次迭代完成后结束训练。

在Detectron中，所有的训练策略都先经过一个500次迭代的线性学习率warm up。

在Detectron2中，大部分的模型的训练采用的是$\text{3x}$的训练策略（即大约训练37个epochs，在210K和250K次迭代后学习率分别衰减为之前的0.1）。

MMDetection中的Training Schedules

MMDetection采用了与Detectron相似的训练策略，不同的是MMDetection以epoch为基准（Detectron中以iteration为基准），故在MMDetection中，$\text{1x}$代表12个epochs，$\text{2x}$代表24个epochs，$\text{3x}$代表36个epochs。

References

• Detectron Model Zoo and Baselines
• MMDetection/Benchmark and Model Zoo
• Difference between 1x and 3x schedules