学习率调整
Class _LRScheduler
class _LRScheduler(object):
def __init__(self, optimizer, last_epoch=-1):
def get_lr(self):
raise NotImplementedError
主要属性:
- optimizer: 关联的优化器
- last_epoch: 记录epoch数
- base_lrs: 记录初始学习率
主要方法:
- step(): 更新下一个epoch的学习率
- get_lr(): 虚函数,计算下一个epoch的学习率
1、StepLR
lr_scheduler.StepLR(optimizer, step_size, gamma=0.1, last_epoch=-1)
功能:等间隔调整学习率
主要参数:
- step_size: 调整间隔数
- gamma: 调整系数
调整方式: lr = lr * gamma
2、MultiStepLR
lr_scheduler.MultiStepLR(optimizer, milestones, gamma=0.1, last_epoch=-1)
主要参数:
milestones: 设定调整时刻数
gamma: 调整系数
调整方式: lr = lr * gamma
3、ExponentialLR
lr_scheduler.ExponentialLR(optimizer, gamma, last_epoch=-1)
功能:按指数衰减调整学习率
主要参数:
- gamma: 指数的底
调整方式: lr = lr * gamma ** epoch
4、CosineAnnealingLR
lr_scheduler.CosineAnnealingLR(optimizer, T_max, eta_min=0, last_epoch=-1)
功能:余炫周期调整学习率
主要参数:
- T_max: 下降周期
- eta_min:学习率下限
调整方式
5、ReduceLROnPlateau
lr_scheduler.ReduceLROnPlateau(optimizer, mode='min', factor=0.1, patience=10, verbose=False, threshold=0.0001, threshold_model='rel', cooldown=0, min_lr=0, eps=1e-8)
功能: 监控指标,当指标不再变化则调整
主要参数:
- model: min/max两种模式
- factor: 调整系数
- patience:“耐心”, 接受几次不变化
- cooldown: “冷却时间”,停止监控一段时间
- verbose:是否打印日志
- min_lr: 学习率下限
- eps: 学习率衰减最小值
6、LambdaLR
lr_scheduler.LambdaLR(optimizer, lr_lambda, last_epoch=-1)
功能:自定义调整策略
主要参数:
- lr_lambda: function or list