【深度学习实战（53）】使用余弦退火（CosineAnnealing）调整学习率

一、引言
余弦退火学习率是一种优化学习率的方法，通常用于深度学习训练中，以帮助模型更好地收敛。这种学习率调整方法通过在训练周期内逐渐降低学习率，从而在训练早期使用较大的学习率以更快地接近全局最小值，然后在后期使用较小的学习率进行微调，以提高模型的稳定性和泛化能力。具体化就如下图所示：

或者

学习率如余弦函数一样随着训练周期而改变。 

二、参数介绍

torch.optim.lr_scheduler.CosineAnnealingLR（optimizer,T_max,eta_min=0,last_epoch=-1）

1.optimizer:

    类型: torch.optim.Optimizer 对象

    含义: 指定要进行学习率调度的优化器。调度器将会修改这个优化器中的学习率。

2.T_max:

    类型: 整数

    含义: 一个周期（epoch）的长度，指定了学习率从最大值下降到最小值的周期长度。在余弦退火学习率调度器中，学习率在 T_max 这个周期内按照余弦函数的形状下降。通常，T_max 被设置为一个整数，代表了网络训练的总周期数。

3.eta_min (可选参数，可选，默认值: 0):

    类型: 浮点数

    含义: 学习率的下限。在训练过程中，学习率将不会小于这个值。默认为0。

4.last_epoch (可选参数，可选，默认值: -1):

    类型: 整数

    含义: 上一个学习率更新的训练周期（epoch）数。指定这个参数允许你在已经进行了一部分训练后恢复学习率调度，或者在某个特定的训练周期开始学习率调度。

三、使用框架

scheduler = torch.optim.lr_scheduler.CosineAnnealingLR(optimizer=optimizer, T_max=config.max_epoch, eta_min=1e-6)

for i in range(1, config.max_epoch+1):
    # 分配学习率
    lr = scheduler.get_last_lr()
    
    # 更新+1
    scheduler.step()