可视化分析torch.optim.lr_scheduler中的不同学习率方法

pytorch的在学习率的调整上提供了很多自定义的函数可供使用，让我们一起来可视化看看呗

说明：

1. 本文使用的pytorch版本为0.4，新版本可能存在参数不匹配问题

准备过程

class model(nn.Module):
    def __init__(self):
        super().__init__()
        self.conv1 = nn.Conv2d(in_channels=3, out_channels=3, kernel_size=3)

    def forward(self, x):
        pass

net_1 = model()
optimizer = torch.optim.Adam(net_1.parameters(), lr = 1) # 为了可视化方便

LambdaLR

torch.optim.lr_scheduler.LambdaLR(optimizer, lr_lambda, last_epoch=-1)

参数

lr_lambda:：可以传入list或者function
last_epoch：在恢复训练的时候要用到，指当前epoch

说明

看名字就可以联想python内置的lambda函数，可以实现自定义的学习率，例如实现一个这样子的学习率：
$lr=init\_lr\ast (1-\frac{epoch}{num\_epochs}{)}^{power}$

def poly_lr_scheduler(epoch, num_epochs=30, power=0.95):
    return (1 - epoch/num_epochs)**power
scheduler = LambdaLR(optimizer, lr_lambda=poly_lr_scheduler)

当num_epochs = 30；power = 0.5时：

StepLR

torch.optim.lr_scheduler.StepLR(optimizer, step_size, gamma=0.1, last_epoch=-1)

参数

step_size
gamma
last_epoch

说明

学习率变化公式：
$ne{w}_{lr}=initia{l}_{lr}\times {\gamma }^{epoch//ste{p}_{s}ize}$
当step_size = 3；gamma = 0.5时：

MultiStepLR

torch.optim.lr_scheduler.MultiStepLR(optimizer, milestones, gamma=0.1, last_epoch=-1):

参数

milestones
gamma
last_epoch

说明

学习率变化公式：
$ne{w}_{lr}=initia{l}_{lr}\times \gamma ,ifnowepochinmilestones$
当milestones = [4,8,12,20]；gamma = 0.5时：

参考文献:

1. https://blog.csdn.net/qyhaill/article/details/103043637
2. https://butui.me/post/lamdalr-in-pytorch/
3. https://pytorch.org/docs/0.4.0/_modules/torch/optim/lr_scheduler.html#LambdaLR
4. https://www.zhihu.com/question/277807090