Pytorch学习笔记（深度之眼）（9）之学习率的调整

最新推荐文章于 2022-04-18 23:00:24 发布

liuyu进阶

最新推荐文章于 2022-04-18 23:00:24 发布

阅读量451

点赞数

分类专栏： python 深度学习笔记文章标签：人工智能深度学习

本文链接：https://blog.csdn.net/m0_45866718/article/details/112008808

版权

45 篇文章 1 订阅

订阅专栏

21 篇文章 2 订阅

订阅专栏

17 篇文章 1 订阅

订阅专栏

学习率的作用是控制更新的步伐；
Pytorch提供了一个调整学习率的方法——class_LRScheduler
主要参数：

optimizer：关联的优化器；
last_epoch：记录epoch数；
base_lrs：记录初始学习率

class_LRScheduler(object):
	def __init__(self,optimizer,last_epoch=1):
	def get_lr(self):
		raise NotlmplementedError

主要方法：

step()：更新下一个epoch的学习率；
get_lr()：虚函数，计算下一个epoch的学习率；

在这里插入图片描述

有序调整：Step、MultiStep、Exponential和CosineAnnealing；
自适应调整：ReduceLROnPleateau；当参数不再下降或者不再上升，调整学习率；
自定义调整：Lambda；在模型fintinue或者有多个模型参数组中对于不同参数执行不同学习率时可以使用

设置较小值：0.01，0001，0.0001
搜索最大学习率：《Cyclical Learning Rates for Training Neural Networks》

关注