深度学习学习率调整方法汇总（pytorch）

1、lr_scheduler.LambdaLR

将每个参数组的学习速率设置为给定函数的初始lr倍。学习率设置为函数的值；

2、lr_scheduler.MultiplicativeLR

将每个参数组的学习率乘以指定函数中给定的系数;

3、lr_scheduler.StepLR

每隔固定的epoch就根据给定的系数衰减一次学习率，Step指的是epoch；

4、lr_scheduler.MultiStepLR

给定epoch要更改的地方，然后按照指定系数衰减；注意与StepLR的区别在于，epoch是固定间隔还是给出的指定epoch；

5、lr_scheduler.ExponentialLR

以指数衰减的形式降低每组参数的学习率: lr = lr * (gamma ** epoch)；

6、lr_scheduler.CosineAnnealingLR

设定最大和最小学习率，在这之间根据余弦函数的形状来设定学习率；简化版本的就只有下降到最小值的过程；

7、lr_scheduler.ReduceLROnPlateau

最常用的，也好用，当loss（或者一些要检测的指标，例如loss的某一个部分或者准确率）在一段时间（同城是几个epoch）不能再优化（可以是大或者小，例如loss就是小，acc就是大）的情况下，就用factor乘以学习率，来降低学习率；

ReduceLROnPlateau(optimizer, mode='min', factor=0.1, patience=10, verbose=False, threshold=0.0001, threshold_mode='rel', cooldown=0, min_lr=0, eps=1e-08)

mode：min或者max。在 min 模式下，当检测的指标（loss等）在 patience 个 epoch 内在不再减少时，lr将减小；在 max 模式下，当检测的指标（acc等）在 patience 个 epoch 内不再变大时，lr将减小；
factor：降低学习率的因子。new_lr = lr * factor，默认值为0.1。
patience：整数，可以忍受没有改进的epoch的数量，之后学习率将降低。默认值为10。
verbose ：布尔变量，如果为真，则当学习率有更新时向stdout输出一条消息。默认值为False。
threshold：只关注超过阈值的变化。默认为1e-4。
threshold_mode：有rel和abs两种阈值计算模式。rel模式：max模式下指标要超过best(1+threshold)，min模式下指标要小于best(1-threshold)；abs模式：max模式下指标要超过best+threshold，min模式下指标要小于best-threshold。默认为rel模式。
cooldown：减少lr后，等待指定epoch再进行检测，防止lr下降过快。默认为0。
min_lr：最小的允许lr，默认为0。
eps：对lr的衰减最小值，如果新旧lr之间的差异小于eps，则忽略此次更新。默认值为1e-8
 

8、lr_scheduler.CyclicLR

根据循环学习率策略（CLR）设置每个参数组的学习率。该策略以恒定的频率在两个边界之间循环学习速率，在 Cyclical Learning Rates for Training Neural Networks中被提出来。两个边界之间的距离可以在每次迭代或每次循环的基础上进行缩放。

9、lr_scheduler.OneCycleLR

根据1循环学习率策略设置每个参数组的学习率。1循环策略将学习速率从初始学习速率退火为某个最大学习速率，然后从该最大学习速率退火为远低于初始学习速率的某个最小学习速率。首先提出来是在 Super-Convergence: Very Fast Training of Neural Networks Using Large Learning Rates.

10、lr_scheduler.CosineAnnealingWarmRestarts

在该文中提出来的算法： SGDR: Stochastic Gradient Descent with Warm Restarts.

参考：

1、torch官网教程：https://pytorch.org/docs/stable/optim.html

2、https://blog.csdn.net/a906958671/article/details/104967447/

3、https://blog.csdn.net/zisuina_2/article/details/103258573