torch.optim.lr_scheduler.StepLR参数解析

trainer = torch.optim.SGD(net.parameters(), lr=lr, momentum=0.9,weight_decay=wd)
scheduler = torch.optim.lr_scheduler.StepLR(trainer, lr_period, lr_decay)

官网的参数结构:

在这里插入图片描述

第一个参数就是所使用的优化器对象

第二个参数就是每多少轮循环后更新一次学习率(lr)

第三个参数就是每次更新lr的gamma倍

为啥要调整学习率?

假设函数为 f ( x ) = x 2 f(x) = x^2 f(x)=x2 每次更新的x应为 x -= dx * lr 其中dx为对x的一阶求导,所以如果lr一直不变,x在绝大多数情况下不会取到最低点的 x 0 x_0 x0的值,所以f(x)的值一直在最低点左右震荡,如下图的绿色箭头所示,但是如果不断调整学习率则可以使结果在离最优点 x 0 x_0 x0的位置更近,则f(x)的值更优,这也就是我们更想要的结果。

因为当学习到一定时候的会发现由于前期学习率设置的过大,导致后期,结果会一直在最优解处震荡比如看下图:

在这里插入图片描述

所以间隔一段迭代后将学习率调小一下有助于找到最优解即每隔setp_size 将学习率乘以gamma替换:lr = lr *gamma

可点击参考此链接

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值