pytorch 断点训练,从指定epoch恢复训练

1、保存模型

保存整个模型


torch.save(net, path)

保存权重


state_dict = net.state_dict()
torch.save(state_dict , path)

2、模型训练过程保存


checkpoint = {
        "net": model.state_dict(),
        'optimizer':optimizer.state_dict(),
        "epoch": epoch
    }

3、指定epoch恢复

path_checkpoint = "./models/checkpoint/ckpt_best_1.pth"  # 断点路径 
checkpoint = torch.load(path_checkpoint)  # 加载断点

model.load_state_dict(checkpoint['net'])  # 加载模型可学习参数

optimizer.load_state_dict(checkpoint['optimizer'])  # 加载优化器参数
start_epoch = checkpoint['epoch']  # 设置开始的epoch

4、完整流程

start_epoch = -1


if RESUME:
    path_checkpoint = "./models/checkpoint/ckpt_best_1.pth"  # 断点路径
    checkpoint = torch.load(path_chec
  • 0
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
好的,下面是一个简单的 PyTorch 代码示例,演示了如何使用 `torch.save()` 和 `torch.load()` 函数实现模型断点恢复训练。代码中使用的是 ResNet18 模型和 CIFAR10 数据集。 ```python import torch import torchvision import torchvision.transforms as transforms # 定义是否使用GPU device = torch.device("cuda" if torch.cuda.is_available() else "cpu") # 定义超参数 num_epochs = 10 batch_size = 128 learning_rate = 0.001 # 加载 CIFAR10 数据集 transform_train = transforms.Compose([ transforms.RandomCrop(32, padding=4), transforms.RandomHorizontalFlip(), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) ]) trainset = torchvision.datasets.CIFAR10(root='./data', train=True, download=True, transform=transform_train) trainloader = torch.utils.data.DataLoader(trainset, batch_size=batch_size, shuffle=True, num_workers=2) testset = torchvision.datasets.CIFAR10(root='./data', train=False, download=True, transform=transforms.ToTensor()) testloader = torch.utils.data.DataLoader(testset, batch_size=batch_size, shuffle=False, num_workers=2) # 定义 ResNet18 模型 model = torchvision.models.resnet18(pretrained=False) num_ftrs = model.fc.in_features model.fc = torch.nn.Linear(num_ftrs, 10) model = model.to(device) # 定义损失函数和优化器 criterion = torch.nn.CrossEntropyLoss() optimizer = torch.optim.SGD(model.parameters(), lr=learning_rate, momentum=0.9, weight_decay=5e-4) # 定义模型保存路径和文件名 checkpoint_path = './checkpoint.pth' # 加载之前保存的模型参数 try: checkpoint = torch.load(checkpoint_path) model.load_state_dict(checkpoint['model_state_dict']) optimizer.load_state_dict(checkpoint['optimizer_state_dict']) start_epoch = checkpoint['epoch'] print("Successfully loaded checkpoint '{}' (epoch {})".format(checkpoint_path, start_epoch)) except: print("No checkpoint found at '{}'".format(checkpoint_path)) start_epoch = 0 # 训练模型 for epoch in range(start_epoch, num_epochs): for i, (images, labels) in enumerate(trainloader): images = images.to(device) labels = labels.to(device) # 前向传播和计算损失 outputs = model(images) loss = criterion(outputs, labels) # 反向传播和优化 optimizer.zero_grad() loss.backward() optimizer.step() if (i+1) % 100 == 0: print('Epoch [{}/{}], Step [{}/{}], Loss: {:.4f}' .format(epoch+1, num_epochs, i+1, len(trainloader), loss.item())) # 保存模型参数 torch.save({ 'epoch': epoch+1, 'model_state_dict': model.state_dict(), 'optimizer_state_dict': optimizer.state_dict(), 'loss': loss }, checkpoint_path) print('Finished Training') ``` 在这个代码示例中,我们首先加载 CIFAR10 数据集,并定义 ResNet18 模型、损失函数和优化器。然后我们定义了一个模型保存路径和文件名,并尝试加载之前保存的模型参数。如果成功加载,就从加载的 epoch 开始训练,否则从第 0 个 epoch 开始训练。在训练过程中,每训练完一个 epoch 就保存一次模型参数,以便恢复训练时可以从最近一次保存的参数开始训练。最后输出训练完成信息。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

抱枕无忧

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值