如有错误,恳请指出。
文章目录
对于学习率的调整一直是个比较困难的问题, 在yolov5中提供了两种学习率的调整方式,一种是线性调整,另外一种就是One Cycle Policy。而在查找资料的过程中,了解到了其他的学习率调整策略,这里一并归纳到这篇笔记中。
其中包括:LR Range Test、Cyclical LR、One Cycle Policy、SGDR、AdamW 、SGDW、pytorch实现的余弦退火策略。具体的学习率调整策略,详细见参考资料。
0. Yolov5的学习率调整方案
yolov5代码中提供了两种学习率调整方案:线性学习率与One Cycle学习率调整
代码比较简单,如下所示:
# Scheduler
if opt.linear_lr:
lf