简单粗暴PyTorch之学习率调整策略

一、为什么要调整学习率？

开始时用大步伐，快到最低点时，下降步伐减小，慢慢靠近。
梯度下降:
𝒘𝒊+𝟏 = 𝒘𝒊 − 𝒈(𝒘𝒊)
𝒘𝒊+𝟏 = 𝒘𝒊 − LR * 𝒈(𝒘𝒊)
学习率（learning rate）控制更新的步伐

二、pytorch的六种学习率调整策略

六种都是继承一种基类
class _LRScheduler

主要属性：
• optimizer：所关联的优化器
• last_epoch：记录epoch数
学习率的调整以epoch为周期
• base_lrs：记录初始学习率

主要方法：

• step()：更新下一个epoch的学习率
• get_lr()：虚函数，计算下一