class_LRScheduler
主要方法
- step():更细你下一个epoch的学习率
- get_lr():虚函数,计算下一个epoch的学习率
学习率调整
1.StepLR 等间隔调整学习率
2.MultiStepLR 按给定间隔调整学习率
3.按照指数衰减调整学习率
4.CosineAnnealingLR
诡异的学习率
5.ReduceLRonPlateau
这个和keras的ReduceLearningRate很像
需要注意的是,在scheduler_lr的step方法中必须输入要监控的值
scheduler_lr=optim.lr_scheduler.ReduceLROnPlateau(optimizer,factor=0.1,mode='min',patience=10,cooldown=10,min_lr=1e-4,verbose=True)
scheduler_lr.step(loss.val)
关于mode的说明,min表示观察是否下降,max模式表示观察是否上升,所以Min通常用来表示loss,max通常用来表示accuracy
6.LambdaLR
lambda1=lambda epoch:0.1**(epoch//20)
lambda2=lambda epoch:0.95** epoch
scheduler=torch.optim.lr_scheduler.LambdaLR(optimizer,lr_lambda=[lambda1,lambda2])
#在之后的训练循环中执行
scheduler.step()
学习率调整小结
- 有序调节:Step,MultiStep,Exponential,CosineAnnealing
- 自适应调整:ReduceLROnPleatu
- 自定义调整:Lambda
搜索最大学习率