PyTorch实战：模型训练学习率动态调整策略

pytorch动态调整学习率

• 背景
• 手动设置自动衰减的学习率
• pytorch中的torch.optim.lr_scheduler
• • torch.optim.lr_scheduler.ExponentialLR
    • torch.optim.lr_scheduler.StepLR
    • torch.optim.lr_scheduler.MultiStepLR
    • torch.optim.lr_scheduler.ReduceLROnPlateau

背景

在神经网络模型的训练过程中，一般采取梯度下降法来对模型的参数进行更新，其中，学习率

α

\alpha

α

控制着梯度更新的步长(step)，

α

\alpha

α

越大，意味着下降的越快，到达最优点的速度也越快。学习率较大时，会加速学习，使得模型更容易接近局部或全局最优解。但是在后期会有较大波动，始终难以达到最优。

因此，我们引入学习率衰减的概念，就是在模型训练初期，使用较大的学习率进行优化，随着迭代次数增加，学习率会逐渐进行减小，保证