pytorch基础(七)-学习率

学习率调整

class_LRScheduler主要属性：

optimizer:关联的优化器，改动优化器内的学习率
last_epoch:以epoch为周期，记录epoch数
base_lrs:记录初始学习率

等间隔调整学习率

scheduler_lr = optim.lr_scheduler.StepLR(optimizer, step_size=50, gamma=0.1)

按给定间隔调整学习率

milestones = [50, 125, 160]
scheduler_lr = optim.lr_scheduler.MultiStepLR(optimizer, milestones=milestones, gamma=0.1)

按指数衰减调整学习率

gamma为指数的底，一般取接近于1（如0.95）

gamma = 0.95
scheduler_lr = optim.lr_scheduler.ExponentialLR(optimizer, gamma=gamma)

余弦周期调整学习率

 t_max:余弦的下降周期
 eta_min:学习率下限

t_max = 50
scheduler_lr = optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=t_max, eta_min=0.)

根据监控指标调整学习率

factor:调整系数
mode:min/max两种模式，min用于下降（loss）,max用于上升（acc）
patience:多长时间不变化
cooldown:冷却周期
min_lr:学习率下限
verbose:是否打印日志

 scheduler_lr = optim.lr_scheduler.ReduceLROnPlateau(optimizer, factor=factor, mode=mode,   patience=patience,cooldown=cooldown, min_lr=min_lr, verbose=verbose)

自定义调整策略

 scheduler_lr = torch.optim.lr_scheduler.LambdaLR(optimizer, lr_lambda=[lambda1, lambda2])

更新学习率

在epoch的循环中：

scheduler_lr.step()