paddlepaddle 26 同时具备周期性与衰减性的学习率调度器

万里鹏程转瞬至

已于 2022-05-19 16:12:45 修改

阅读量593

点赞数 1

分类专栏： paddlepaddle 文章标签：学习深度学习人工智能

于 2022-05-18 14:48:54 首次发布

本文链接：https://blog.csdn.net/a486259/article/details/124842045

版权

57 篇文章 87 订阅 ¥59.90 ¥99.00

订阅专栏

本文介绍了如何结合周期性与衰减性学习率调度器，以利用它们各自的优势。作者修改了余弦退火重启动和余弦式衰减学习率的代码，实现了一个新的调度器，旨在帮助模型跳出局部最小值并有效训练。

摘要由CSDN通过智能技术生成

在我们熟知的学习率调度器中，有周期性调度器（单周期，多周期），也由衰减式调度器（按性能衰减，按epoch衰减）和预热式（学习率变化为低->高->缓慢变低）的。

周期性调度器对学习率比较敏感，可以通过学习率的周期性变化跳出局部最小值（在局部最小值时，学习率上升，有一定概率跳出最小值），尽可能找到鞍点；衰减式调度器，对学习率敏感度较低，但很难越过局部最小值（因为其学习率在不断下降，当到达鞍点时没有足够的动量跃出鞍点）。

为了结合这两个调度器的优势，博主对现行公开的两种学习率周期性调度器（余弦退火重启动学习率和余弦式衰减学习率）的代码做了轻微修改，实现了周期性与衰减学习率调度器的结合。

由于paddle默认的学习率调度器里没有余弦退火重启动学习率，因此需要自习进行实现。

这里只实现了指数式衰减，参数中的eta_min是学习率最小值。

class CosineAnnealingWarmRestarts2(lr.LRScheduler):
    #learning_rate：最大学习率值
    #eta_min:最小学习率值
    def __init__(self, m

了解本专栏

关注

专栏目录