学习率衰减
学习率:权重更新的控制因子
训练神经网络的常规策略是初始时使用较大的学习率(好处是能使网络收敛迅速),随着训练的进行,学习率衰减;
warmup是什么?
在训练初期,loss很大,因此计算的梯度也很大,如果设置较大的学习率,模型很容易跳过最优点,后期很难再拉回来;
阶段一: 而warmup是在初始时(前几个epoch)使用较小的学习率,然后随着训练的进行,学习率慢慢增加到设定的学习率(linear线性增加,constant方式等);
阶段二: 最后学习率从设定数值再衰减;
warmup的几个参数:
warmup_factor:warmup期间,学习率初始化为
w
a
r
m
u
p
f
a
c
t
o
r
∗
η
0
warmup_factor*η_0
warmupfactor∗η0,然后根据不同的策略增加到
η
0
η_0
η0
衰减系数α:学习率按照这个系数衰减
milestones:学习率会在这个期间衰减
warmup的作用:
防止过拟合