PyTorch中Warm Up学习率不使用就不要定义否则影响学习率一直为0

最新推荐文章于 2024-09-14 16:42:57 发布

xtphysics

最新推荐文章于 2024-09-14 16:42:57 发布

阅读量2.5k

点赞数 4

分类专栏： PyTorch踩坑文章标签： pytorch 深度学习

本文链接：https://blog.csdn.net/kouwang9779/article/details/121774689

版权

PyTorch踩坑专栏收录该内容

1 篇文章 0 订阅

订阅专栏

踩坑描述：

如果定义了warm Up学习率的衰减方式如下，

         if args.decay_type == "cosine":
             scheduler = WarmupCosineSchedule(optimizer, warmup_steps=args.warmup_steps, t_total=t_total)
         else:
             scheduler = WarmupLinearSchedule(optimizer, warmup_steps=args.warmup_steps, t_total=t_total)

如果后面训练时没有调用scheduler.step()，但只要程序运行过上面定义的学习率衰减方式那一段，学习率就会变成0，导致loss从一开始就震荡，训练是毫无效果的！！

不调用Warm Up学习率就把定义它的衰减方式的部分注释掉！

执行上述定义衰减学习率方法之前，lr的显示如下，学习率为自定义的1e-4：
学习率为1e-4
执行过定义衰减学习率的语句后，lr显示变成0，自定义的学习率赋值给了Initial_lr:
在这里插入图片描述
由于训练过程中又没有调用，所以学习率会一直保持0的状态，造成训练无效，loss不停震荡。