PyTorch动态学习率调整

一、学习率调整的核心价值

学习率作为深度学习最重要的超参数之一，直接影响模型收敛速度和最终性能。动态调整策略通过以下机制提升训练效果：

1. 加速收敛：早期使用较大学习率快速下降，后期精细调整
2. 跳出局部最优：周期性变化帮助逃离鞍点
3. 稳定训练：自适应调整防止梯度震荡
4. 自动优化：减少人工调参工作量

---

二、有序调整策略

2.1 StepLR（等间隔调整）

scheduler = torch.optim.lr_scheduler.StepLR(
    optimizer, 
    step_size=5,   # 调整间隔epoch数
    gamma=0.5      # 调整系数
)

数学原理：
$$lr=l{r}_{init}\times gamm{a}^{\lfloor \frac{epoch}{step\_size}\rfloor }$$

适用场景：

• 简单收敛模式
• 固定训练阶段划分
• 基线调度策略

---

2.2 MultiStepLR（多阶段调整）

scheduler = torch.optim.lr_scheduler.MultiStepLR(
    optimizer,
    milestones=[10, 30, 80],  # 调整节点epoch
    gamma=0.5
)

调整逻辑：

Epoch [0-10): lr = 0.01
Epoch [10-30): lr = 0.005 
Epoch [30-80): lr = 0.0025
Epoch [80+): lr = 0.00125

优势：更灵活的阶段控制

---

2.3 ExponentialLR（指数衰减）

scheduler = torch.optim.lr_scheduler.ExponentialLR(
    optimizer,
    gamma=0.95  # 指数衰减率
)

数学表达：
$$lr=l{r}_{init}\times gamm{a}^{epoch}$$

特点：

• 平滑连续衰减
• 需要谨慎选择gamma值
• 适合对学习率敏感的任务

---

2.4 CosineAnnealingLR（余弦退火）

scheduler = torch.optim.lr_scheduler.CosineAnnealingLR(
    optimizer,
    T_max=50,      # 半周期长度
    eta_min=1e-6   # 最小学习率
)

变化曲线：
$$lr={\eta }_{min}+\frac{1}{2}({\eta }_{max}-{\eta }_{min})(1+\cos (\frac{epoch}{T_{max}}\pi ))$$

优势：

• 周期性重启避免局部最优
• 自然平滑的衰减过程

---

三、自适应调整策略

3.1 ReduceLROnPlateau（指标监控调整）

scheduler = torch.optim.lr_scheduler.ReduceLROnPlateau(
    optimizer,
    mode='min',       # 监控指标方向
    factor=0.5,       # 调整系数
    patience=5,       # 等待epoch数
    threshold=1e-4    # 显著变化阈值
)

使用示例：

for epoch in range(epochs):
    train(...)
    val_loss = validate(...)
    scheduler.step(val_loss)  # 传入监控指标

触发条件：

• 连续patience个epoch指标变化小于threshold
• 调整策略：new_lr = lr * factor

---

四、自定义调整策略

4.1 LambdaLR（函数式调整）

lambda_func = lambda epoch: 0.95 ** epoch
scheduler = torch.optim.lr_scheduler.LambdaLR(
    optimizer, 
    lr_lambda=lambda_func
)

自定义函数示例：

def triangular_policy(epoch):
    cycle = 50
    x = 1 + epoch % cycle
    return 0.5*(1 + math.cos(math.pi*x/cycle))

scheduler = LambdaLR(optimizer, lr_lambda=triangular_policy)

应用场景：

• 实现论文中的特殊调整策略
• 组合多种调整方式
• 实验性调参

---

五、综合使用技巧

5.1 组合调度策略

# Warmup + Cosine退火
warmup = LinearLR(optimizer, start_factor=0.1, total_iters=5)
cosine = CosineAnnealingLR(optimizer, T_max=95)
scheduler = SequentialLR(optimizer, [warmup, cosine], milestones=[5])

5.2 学习率可视化

import matplotlib.pyplot as plt

lrs = []
for epoch in range(100):
    optimizer.step()
    lrs.append(optimizer.param_groups[0]["lr"])
    scheduler.step()

plt.plot(lrs)
plt.xlabel("Epoch")
plt.ylabel("Learning Rate")

5.3 参数选择指南

参数	推荐范围	调整策略
初始学习率	1e-4 ~ 1e-2	通过LR Finder确定
gamma	0.1 ~ 0.9	从大到小逐步收紧
step_size	5 ~ 20	根据总epoch数按比例设置
T_max	总epoch的1/4	结合余弦周期特性

---

六、生产环境最佳实践

6.1 模型保存与加载

# 保存检查点
torch.save({
    'epoch': epoch,
    'model_state': model.state_dict(),
    'optimizer': optimizer.state_dict(),
    'scheduler': scheduler.state_dict(),
}, 'checkpoint.pth')

# 加载恢复
checkpoint = torch.load('checkpoint.pth')
scheduler.load_state_dict(checkpoint['scheduler'])

6.2 分布式训练适配

# 多GPU训练时同步更新
if isinstance(scheduler, torch.optim.lr_scheduler.ReduceLROnPlateau):
    scheduler.step(val_loss)
else:
    scheduler.step()

---

七、常见问题解答

Q1：调度器应该在什么时候更新？

# 正确顺序
for epoch in range(epochs):
    train_epoch()
    validate()
    scheduler.step()  # 在epoch结束后更新

Q2：如何恢复训练时的学习率？

# 需要同时保存优化器和调度器状态
optimizer.load_state_dict(checkpoint['optimizer'])
scheduler.load_state_dict(checkpoint['scheduler'])

Q3：学习率突然归零怎么办？

• 检查gamma参数是否过小
• 验证ReduceLROnPlateau的patience设置
• 添加学习率下限：eta_min=1e-6

---

通过合理应用动态学习率调整策略，可以使模型训练效率提升30%以上。建议结合TensorBoard等可视化工具监控学习率变化，根据具体任务特点选择或设计合适的调整策略。对于复杂场景，可以尝试组合多种调度方法实现更精细的控制。