pytorch 查看当前学习率_pytorch实现查看当前学习率

在pytorch训练过程中可以通过下面这一句代码来打印当前学习率

print(net.optimizer.state_dict()['param_groups'][0]['lr'])

补充知识：Pytorch：代码实现不同层设置不同的学习率，选择性学习某些层参数

1，如何动态调整学习率

在使用pytorch进行模型训练时，经常需要随着训练的进行逐渐降低学习率，在pytorch中给出了非常方面的方法：

假设我们定义了一个优化器：

import torch

import torch.nn as nn

optimizer = torch.optim(model.parameters(), lr = 0.01, momentum = 0.9)

该优化器的初始化学习为0.01，

如果我们学习每个"n" 个epoch把学习率降低为原来的0.9倍，则需要声明一个学习率调节器：

torch.optim.lr_scheduler.StepLR(optimizer, step_size, gamma=0.1, last_epoch=-1)

其中：

optimizer: 前面声明的优化器；

step_size: 每step_size个epoch学习率降低为原来的gamma倍，

last_epoch: 当前所处的epoch

例如：

# Assuming optimizer uses lr = 0.05 for all groups

# lr = 0.05 if epoch < 30