Pytorch：lr_schedule的注意事项

最新推荐文章于 2024-07-26 22:41:27 发布

blue_sky_wait_me

最新推荐文章于 2024-07-26 22:41:27 发布

阅读量1k

点赞数 1

分类专栏：计算机视觉文章标签：深度学习

原文链接：https://blog.csdn.net/guls999/article/details/85695409

版权

计算机视觉专栏收录该内容

38 篇文章 4 订阅

订阅专栏

本文介绍了在PyTorch中如何利用MultiStepLR学习率调度器进行训练，并在训练中断后恢复。当训练中断时，可以通过设置scheduler的last_epoch参数来继续之前的训练状态，无需手动修改milestones。同时，加载保存的模型时，需要在optimizer参数组中指定initial_lr以避免错误。示例代码展示了恢复训练的具体步骤。

摘要由CSDN通过智能技术生成

在训练过程中我们一般会使用pytorch已有的学习率调整策略，如：

import torch
import torch.optim as optim
from torchvision.models.resnet import resnet50
net = resnet50(num_classes=1000)
optimizer = optim.Adam(net.parameters(), lr=1e-3)
scheduler = optim.lr_scheduler.MultiStepLR(optimizer, [20, 30, 40, 50], 0.1)
for epoch in range(num_epoch):
    scheduler.step()
    train()
    valid()
    ...

有时候会因为不可抗拒的外界因素导致训练被中断，在pytorch中恢复训练的方法就是把最近保存的模型重新加载，然后重新训练即可。假设我们从epoch10开始恢复训练，可以利用lr_scheduler的一个参数：

scheduler = optim.lr_scheduler.MultiStepLR(optimizer, [20, 30, 40, 50], 0.1, last_epoch=10)

这样就不需要手动地去改[20, 30, 40, 50]->[10, 20, 30, 40] 。需要注意的是在optimizer定义参数组的时候需要加入’initial_lr’，不然会报错：

"param 'initial_lr' is not specified in param_groups[*] when resuming an optimizer"

import torch
import torch.optim as optim
from torchvision.models.resnet import resnet50
net = torch.load('resnet50_epoch10.pth')
optimizer = optim.Adam([{'params': net.parameters(), 'initial_lr': 1e-3}], lr=1e-3)
scheduler = optim.lr_scheduler.MultiStepLR(optimizer, [20, 30, 40, 50], 0.1, last_epoch=10)
for epoch in range(11, num_epoch):
    scheduler.step()
    train()
    valid()
    ...

转载：https://blog.csdn.net/guls999/article/details/85695409