pytorch 学习之 学习率调整策略

学习率调整

一、 所有学习率调整函数的基类

class _LRSccheduler(object):
    def __init__(self, optimizer, last_epoch=-1):

主要属性：

• optimizer：关联的优化器
• last_epoch：记录epoch数
• base_lrs：记录初始学习率

主要方法：

• step()：更新下一个epoch的学习率
• get_lr()：虚函数，计算下一个epoch的学习率

二、调整策略

1. 有序调整：Step、MultiStep、Exponential 和 CosineAnnealing
2. 自适应调整：ReduceLROnPleateau
3. 自定义调整：Lambda

1. StepLR

等间隔的调整学习率

lr_scheduler.StepLR(optimizer, step_size, gamma=0.1, last_epoch=-1)

主要参数：

• step_size：调整间隔
• gamma：调整系数

调整方式：$lr=lr\ast gamma$

2. MultiStepLR

功能：按给定间隔调整学习率

lr_scheduler.MultiStepLR(optimizer, milestones, gamma=0.1, last_epoch=-1)

主要参数：

• milestones：设定调整时刻数
• gamma：调整系数

调整方式：$lr=lr\ast gamma$

3. ExponentialLR

功能：按指数衰减调整学习率

lr_scheduler.ExponentialLR(optimizer, gamma, last_epoch=-1)

主要参数：

• gamma：指数的底

调整方式：$lr=lr\ast gamma\ast \ast epoch$

4. CosineAnnealingLR

功能：余弦周期调整学习率

lr_scheduler.CosineAnnealingLR(optimizer, T_max, eta_min=0, last_epoch=-1)

主要参数：

• T_max：下降周期
• eta_min：学习率下限

调整方式：KaTeX parse error: Got function '\min' with no arguments as subscript at position 13: \eta_t=\eta_\̲m̲i̲n̲+\frac{1}{2}(\e…

5. ReduceLRonPlateau

功能：监控指标，当指标不再变化则调整

lr_scheduler.ReduceLROnPlateau(optimizer, 
								mode='min', 
								factor=0.1, 
								patience=10, 
								verbose=False, 
								threshold=0.0001, 
								threshold_mode='rel', 
								cooldown=0, 
								min_lr=0, 
								eps=1e-08)

主要参数：

• mode：min/max 两种模式
• factor：调整系数
• patience：“耐心”，接受几次不变化
• cooldown：“冷却时间”，停止监控一段时间
• verbose：是否打印日志
• min_lr：学习率下限
• eps：学习率衰减最小值

6. LambdaLR

功能：自定义调整策略

lr_scheduler.LambdaLR(optimizer, lr_lambda, last_epoch=-1)

主要参数：

• lr_lambda：function or list

三、学习率初始化

学习率初始化：

1. 设置较小数：0.01、0.001、0.0001
2. 搜索最大学习率： 《Cyclical Learning Rates for Training Neural Networks》，初始化学习率不能大于最大学习率