PyTorch torch.optim.lr_scheduler.CyclicLR

循环学习率策略在神经网络训练中的应用

最新推荐文章于 2024-08-20 09:19:46 发布

原创最新推荐文章于 2024-08-20 09:19:46 发布 · 3.8k 阅读

11 ·

CC 4.0 BY-SA版权

文章标签：

#pytorch

pytorch 专栏收录该内容

31 篇文章

订阅专栏

本文介绍了CyclicLR，一种不同于传统固定或单调递减学习率的策略，它在训练神经网络时使学习率在预设的上下限之间周期性变化。关键参数包括基础学习率base_lr、最大学习率max_lr以及步长step_size_up和step_size_down。通过调整这些参数，可以有效地避免过早收敛或训练不充分的问题。在代码实例中，展示了如何使用PyTorch的CyclicLR调度器来实现这一策略，并在训练和验证过程中动态调整学习率。

1.出处介绍

CyclicLR循环学习率出自于论文《Cyclical Learning Rates for Training Neural Networks》；与之前的固定或者单调递减的学习率不同，这是周期性变化。有三个参数：上边界max_lr，下边界base_lr，补长stepsize。如下所示，学习率在base_lr和max_lr震荡更新。
在这里插入图片描述

2.参数介绍

base_lr：基础学习率
max_lr：学习率上限
step_size_up：学习率上升的步数
step_size_down：学习率下降的步数
mode：共三种模式分别为triangular，triangular2和exp_range
gamma：exp_range中的常量gamma**(cycle iterations)
scale_fn：自定义缩放策略保证所有 $x≥0x\geq 0$ 的情况下 $scale\_fn(x)$ 的值域为 $[0, 1]$
scale_mode：两种模式cycle和iterations
cycle_momentum：如果为True，则动量与’base_momentum’和’max_momentum之间的学习率成反比
base_momentum：初始动量，即每个参数组的循环中的下边界。
max_momentum：每个参数组的循环中的上动量边界。

3.代码实例

#设置优化器
optimizer = torch.optim.SGD(model.parameters(),lr=opt.lr,momentum=0.9)
base_lr = 2e-3
max_lr = 6e-3

#设置学习率调节方法
scheduler = torch.optim.lr_scheduler.CyclicLR(optimizer, base_lr, max_lr, step_size_up=500, step_size_down=500, mode='triangular', gamma=1.0, scale_fn=None, scale_mode='cycle', cycle_momentum=True, base_momentum=0.8, max_momentum=0.9, last_epoch=-1)

for epoch in range(opt.num_epochs):
	train(...)
	validate(...)
	scheduler.step()