一、为什么要调整学习率 二、pytorch的六种学习率调整策略
前两节课学习了优化器的概念,优化器中有很多超参数,在这些参数中最重要的参数就是学习率。 我们知道学习率直接控制了参数更新的大小。在整个训练过程中,学习率也不是一成不变的,还是可以调整的。今天就来学习学习率的调整策略。
一、为什么要调整学习率学习率直接控制参数更新的步伐。 通常在训练中,一开始学习率可以给的比较大,让参数更新的步伐大一些。后期,让学习率小一些,让参数更新的步伐小一些。 为什么前期大,后期小呢?可以通过打高尔夫的例子来分析。
刚开始打的远一点,到了洞口附近再慢慢打。
二、_LRScheduler类在pytorch中提供了很好的学习率调整策略。这六种策略都是继承于_LRScheduler这个基类。所以,我们先来学这个类的基本属性和基本方法。
(1)主要属性</ |
7.3 学习率调整策略
最新推荐文章于 2024-04-07 21:25:23 发布