目录
余弦退火学习率
按步下降法:
余弦退火学习率
问题:t_max小于10时,步数较大,最小学习率只到10-5次方。
lr_scheduler = optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=10,eta_min=4e-08)
lr_scheduler.step()
T_max 对应1/2个cos周期所对应的epoch数值
eta_min 为最小的lr值,默认为0
这个学习率不能降到很低。
想把学习率上升阶段去掉:
代码:
设置起始学习率:
lr_scheduler.base_lrs[0]
if