一、为什么要调整学习率?
开始时用大步伐,快到最低点时,下降步伐减小,慢慢靠近。
梯度下降:
𝒘𝒊+𝟏 = 𝒘𝒊 − 𝒈(𝒘𝒊)
𝒘𝒊+𝟏 = 𝒘𝒊 − LR * 𝒈(𝒘𝒊)
学习率(learning rate)控制更新的步伐
二、pytorch的六种学习率调整策略
六种都是继承一种基类
class _LRScheduler
主要属性:
• optimizer:所关联的优化器
• last_epoch:记录epoch数
学习率的调整以epoch为周期
• base_lrs:记录初始学习率
主要方法:
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/6f4419a5d477050fbe1b96bdff4c11dd.png#pic_center)
• step():更新下一个epoch的学习率
• get_lr():虚函数,计算下一