PyTorch 10. 学习率

scheduler

scheduler:必须关联一个优化器去调整其学习率

class _LRScheduler(object):
	def __init__(self, optimizer, last_epoch=-1):
		pass
	def get_lr(self):
		return [base_lr * self.gamma ** (self.last_epoch//self.step_size) for base_lr in self.base_lrs]
	def step(self):
		if epoch is None:
			epoch = self.last_epoch + 1
		self.last_epoch = epoch
		for param_group, lr in zip(self.optimizer.param_groups, self.get_lr()):
			param_group['lr'] = lr

optimizer：关联的优化器
last_epoch: 记录epoch数
base_lrs: 记录初始学习率
主要方法：
step()：更新下一个epoch的学习率
get_lr(): 计算下一个epoch的学习率

StepLR

lr_scheduler.StepLR(optimizer, step_size, gamma=0.1,last_epoch=-1)

功能：等间隔调整学习率
主要参数：
step_size:调整间隔数
gamma:调整系数
调整方式： lr = lr * gamma

MultiStepLR

lr_scheduler.MultiStepLR(optimizer, milestones, gamma=0.1, last_epoch=-1)

功能：按给定间隔调整学习率
主要参数:
milestones：设定调整时刻数 ,milestones = [50, 125, 160]
gamma: 调整系数
调整方式： lr = lr *gamma

ExponentialLR

lr_scheduler.ExponentialLR(optimizer, gamma, last-epoch=-1)

功能：按指数衰减调整学习率
主要参数：
gamma:指数的底

CosineAnnealingLR

lr_scheduler.CosineAnnealingLR(optimizer, T_max, eta_min=0, last_epoch=-1)

功能：余弦周期调整学习率
主要参数：
T_max: 下降周期
eta_min: 学习率下限
调整方式：
$l{r}_t=l{r}_{min}+\frac{1}{2}(l{r}_{max}-l{r}_{min})(1+cos(\frac{T_{cur}}{T_{max}}\pi ))$

ReduceLRonPlateau

lr_scheduler.ReduceLROnPlateau(optimizer, mode='min', factor=0.1, patience=10, verbose=False, threshold=0.0001, threshold_mode='rel',cooldown=0, min_lr=0, eps=1e-08)

功能：监控指标，当指标不再变化则调整
主要参数：
mode: min/max 两种模式
factor: 调整系数
patience: “耐心”，接受几次不变化
cooldown: “冷却时间”，停止监控一段时间
verbose: 是否打印日志
min_lr: 学习率下限
eps: 学习率衰减最小值

参考：
https://zhuanlan.zhihu.com/p/146865009