训练中动态调整学习率lr，optimizer.param_groups

四、在训练中动态的调整学习率

 

1 2 3 4 5 6 7 8 9

'''调整学习率''' # 新建optimizer或者修改optimizer.params_groups对应的学习率 # # 新建optimizer更简单也更推荐，optimizer十分轻量级，所以开销很小 # # 但是新的优化器会初始化动量等状态信息，这对于使用动量的优化器（momentum参数的sgd）可能会造成收敛中的震荡 # ## optimizer.param_groups:长度2的list，optimizer.param_groups[0]：长度6的字典 print(optimizer.param_groups[0]['lr']) old_lr = 0.1 optimizer = optim.SGD([{'params': net.features.parameters()},                        {'params': net.classifiter.parameters(), 'lr': old_lr*0.1}], lr=1e-5)

 可以看到optimizer.param_groups结构，[{'params','lr', 'momentum', 'dampening', 'weight_decay', 'nesterov'},{……}]，集合了优化器的各项参数。

 

--------------------------------------------------------------------

动态修改学习率
for param_group in optimizer.param_groups:
    param_group["lr"] = lr 


得到学习率   optimizer.param_groups[0]["lr"] 

我自己查看的优化器参数

# print('查看optimizer.param_groups结构：')
# i_list=[i for i in optimizer.param_groups[0].keys()]
# print(i_list)    
['amsgrad', 'params', 'lr', 'betas', 'weight_decay', 'eps']

 

参考链接：

https://www.cnblogs.com/hellcat/p/8496727.html

https://www.pytorchtutorial.com/pytorch-learning-rate-decay/