pytorch 学习率代码_Pytorch使用ReduceLROnPlateau来更新学习率

自己之前写过一个Pytorch学习率更新,其中感觉依据是否loss升高或降低的次数来动态更新学习率，感觉是个挺好玩的东西，自己弄了好久都设置错误，今天算是搞出来了！

解析

说明

• torch.optim.lr_scheduler.ReduceLROnPlateau(optimizer, mode='min', factor=0.1, patience=10, verbose=False, threshold=0.0001, threshold_mode='rel', cooldown=0, min_lr=0, eps=1e-08)

在发现loss不再降低或者acc不再提高之后，降低学习率。各参数意义如下：

参数

含义

表格没复制过来想要了解详情请访问：

https://www.emperinter.info/2020/08/05/change-leaning-rate-by-reducelronplateau-in-pytorch/​www.emperinter.info

• 例子，如图所示的y轴为lr,x为调整的次序，初始的学习率为0.0009575
  则学习率的方程为：lr = 0.0009575 * (0.35)^x

代码复制过来乱码，想要了解详情请访问：

import math  import matplotlib.pyplot as plt #%matplotlib inline  x = 0  o = [] p = [] o.append(0) p.append(0.0009575) while(x < 8):     x += 1     y = 0.0009575 * math.pow(0.35,x)     o.append(x)     p.append(y) print('%d:   %.50f' %(x,y))  plt.plot(o,p,c='red',label='test') #分别为x,y轴对应数据,c:color,label plt.legend(loc='best') # 显示label,loc为显示位置(best为系统认为最好的位置) plt.show() 

难点

我感觉这里面最难的时这几个参数的选择，第一个是初始的学习率（我目前接触的miniest和下面的图像分类貌似都是0.001，我这里训练调整时才发现自己设置的为0.0009575，这个值是上一个实验忘更改了，但发现结果不错，第一次运行该代码接近到0.001这么小的损失值）,这里面的乘积系数以及判断说多少次没有减少（增加）后决定变换学习率都是难以估计的。我自己的最好方法是先按默认不变的0.001来训练一下（结合 tensoarboard ）观察从哪里开始出现问题就可以从这里来确定次数，而乘积系数，个人感觉还是用上面的代码来获取一个较为平滑且变化极小的数字来作为选择。建议在做这种测试时可以把模型先备份一下以免浪费过多的时间！

例子及代码复制过来乱码，想要了解详情请访问：

Pytorch使用ReduceLROnPlateau来更新学习率 | emperinter​www.emperinter.info

除非特别说明，本博客所有作品均采用知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议进行许可。转载请注明转自-

https://www.emperinter.info/2020/08/05/change-leaning-rate-by-reducelronplateau-in-pytorch/