Pytorch 学习率衰减 lr_scheduler

torch.optim.lr_scheduler 提供了一些基于 epoch 调整学习率的方法，基本使用方法如下：

optimizer  = torch.optim.SGD(model.parameters(), lr=1e-2, momentum=0.9, weight_decay=1e-5)
scheduler = torch.optim.lr_scheduler.xxx()
for epoch in range(epochs):
    train(...)
    optimizer.step()
    scheduler.step()

PyTorch 1.1.0 之前，scheduler.step() 应该在 optimizer.step() 之前调用。现在这么做则会跳过学习率更新的第一个值。

torch.optim.lr_scheduler.LambdaLR(optimizer, lr_lambda, last_epoch=-1)

给每一组参数的学习率分别设置为初始lr乘以给定的函数。当last_epoch=-1时，将初始lr设置为lr。

optimizer  = torch.optim.SGD([{'params': weight_p, 'weight_decay':5e-3},
                              {'params': bias_p, 'weight_decay':0},]
                              lr=1e-2, momentum=0.9)
lambda1 = lambda epoch: epoch // 30
lambda2 = lambda epoch: 0.95 ** epoch
scheduler = LambdaLR(optimizer, lr_lambda=[lambda1, lambda2])
for epoch in range(100):
    train(...)
    optimizer.step()
    scheduler.step()

 

MultiplicativeLR(optimizer, lr_lambda, last_epoch=-1)

每组参数的学习率乘以指定函数中给定的因子。当last_epoch=-1时，将初始lr设置为lr。

optimizer  = torch.optim.SGD([{'params': weight_p, 'weight_decay':5e-3},
                              {'params': bias_p, 'weight_decay':0},]
                              lr=1e-2, momentum=0.9)
lambda1 = lambda epoch: 0.95
lambda2 = lambda epoch: 0.85
scheduler = MultiplicativeLR(optimizer, lr_lambda=[lambda1, lambda2])
for epoch in range(100):
    train(...)
    optimizer.step()
    scheduler.step()

StepLR(optimizer, step_size, gamma=0.1, last_epoch=-1)

在每个 step_size 个epoch，每组参数的学习率都以 gamma 倍衰减。这种衰减可能与此 scheduler 之外的其他对学习率的更改同时发生。当last_epoch=-1时，将初始lr设置为lr。

# Assuming optimizer uses lr = 0.05 for all groups
# lr = 0.05     if epoch < 30
# lr = 0.005    if 30 <= epoch < 60
# lr = 0.0005   if 60 <= epoch < 90
# ...
scheduler = StepLR(optimizer, step_size=30, gamma=0.1)
for epoch in range(100):
    train(...)
    scheduler.step()

MultiStepLR(optimizer, milestones, gamma=0.1, last_epoch=-1)

当 epoch 达到 milestones 其中一个值时，每组参数的学习率将以 gamma 衰减。这种衰减可能与此 scheduler 之外的其他对学习率的更改同时发生。当last_epoch=-1时，将初始lr设置为lr。milestones 是一个包含 epoch 值的递增列表。

# Assuming optimizer uses lr = 0.05 for all groups
# lr = 0.05     if epoch < 30
# lr = 0.005    if 30 <= epoch < 80
# lr = 0.0005   if epoch >= 80
scheduler = MultiStepLR(optimizer, milestones=[30,80], gamma=0.1)
for epoch in range(100):
    train(...)
    scheduler.step()

 

ExponentialLR(optimizer, gamma, last_epoch=-1)

以指数衰减的形式降低每组参数的学习率: lr = lr * (gamma ** epoch)， 相当于上面 LambdaLR 中的 lambda2。当last_epoch=-1时，将初始lr设置为lr。

CosineAnnealingLR(optimizer, T_max, eta_min=0, last_epoch=-1)

使用余弦退火策略改变学习率。T_max代表1/2个cos周期所对应的epoch值，eta_min代表最小学习率。简化的版本是根据余弦函数将学习率从初始值降低到0（左图）。

ReduceLROnPlateau(optimizer, mode='min', factor=0.1, patience=10, verbose=False, threshold=0.0001, threshold_mode='rel', cooldown=0, min_lr=0, eps=1e-08)

当传给函数的指标不再变好时，降低学习率。一旦学习停滞不前，模型通常会受益于将学习率降低2-10倍。这个 scheduler 读取一个指标，如果在 patience 个 epoch 内该指标没有变得更好，学习率就会降低。

• mode：min或者max。在 min 模式下，当检测的指标（loss等）在 patience 个 epoch 内在不再减少时，lr将减小；在 max 模式下，当检测的指标（acc等）在 patience 个 epoch 内不再变大时，lr将减小；
• factor：降低学习率的因子。new_lr = lr * factor，默认值为0.1。
• patience：整数，可以忍受没有改进的epoch的数量，之后学习率将降低。默认值为10。
• verbose ：布尔变量，如果为真，则当学习率有更新时向stdout输出一条消息。默认值为False。
• threshold：只关注超过阈值的变化。默认为1e-4。
• threshold_mode：有rel和abs两种阈值计算模式。rel模式：max模式下指标要超过best(1+threshold)，min模式下指标要小于best(1-threshold)；abs模式：max模式下指标要超过best+threshold，min模式下指标要小于best-threshold。默认为rel模式。
• cooldown：减少lr后，等待指定epoch再进行检测，防止lr下降过快。默认为0。
• min_lr：最小的允许lr，默认为0。
• eps：对lr的衰减最小值，如果新旧lr之间的差异小于eps，则忽略此次更新。默认值为1e-8。

optimizer = torch.optim.SGD(model.parameters(), lr=0.1, momentum=0.9)
scheduler = ReduceLROnPlateau(optimizer, 'min')
for epoch in range(10):
    train(...)
    val_loss = validate(...)
    # Note that step should be called after validate()
    scheduler.step(val_loss)