Pytorch 模型加载保存预测整理

最近在学习pytorch,把踩过的坑,整理一下。

1、预训练模型的加载问题

在模型加载过程中,常用的有两种方式:

(1)直接保存加载训好的模型
torch.save(model, 'src/model.pth')  # 直接保存模型
model = torch.load('src/model.pth')  # 直接加载模型
(2)只加载模型参数,进行训练
model = ...  # 训练好的模型
torch.save(model.state_dict(), 'src/params.pth')  # 只保存模型参数
# -----------------------------------------------
model = ...  # 新的模型(没训练) 
model.load_state_dict(torch.load('src/params.pth'))  # 加载模型参数,并更新到模型中
(3)模型保存的问题
  • A、如果只保存模型参数,其实就把参数用字典的形式保存下来,我们如果只需要其中的几层或者仅只修改后面一层,我们只需把要修改的层替换掉,即可。
#把不属于新模型 model_dict 的参数, 除掉。pretrained_dict是预训练参数
pretrained_dict =  {k: v for k, v in pretrained_dict.items() if k in model_dict} 
  • B、如果在使用多卡训练模型时,即使用model = torch.nn.DataParallel(model, device_ids=device_ids),在保存模型参数时,建议使用torch.save(model.module.state_dict(), 'src/params.pth'),否则,保存的模型参数中的key 的名字会多出module,具体可根据程序进行修改。
2、用训练好的模型预测代码实现
#!/usr/bin/python
# -*- coding: UTF-8 -*-

import torchvision as tv
import torchvision.transforms as transforms
import torch as t
from PIL import Image


def pridict():

    device = t.device("cuda" if t.cuda.is_available() else "cpu")
    model = tv.models.resnet18(pretrained=True)  # 创建一个模型
    model = model.to(device)

    model.eval()  # 预测模式

    # 获取测试图片,并行相应的处理
    img = Image.open('cat.jpg')
    transform = transforms.Compose([transforms.Resize(256),  # 重置图像分辨率
                                    transforms.CenterCrop(224),  # 中心裁剪
                                    transforms.ToTensor(), ])
    img = img.convert("RGB")  # 如果是标准的RGB格式,则可以不加
    img = transform(img)
    img = img.unsqueeze(0)
    img = img.to(device)

    with t.no_grad():
        py = model(img)
    _, predicted = t.max(py, 1)  # 获取分类结果
    classIndex_ = predicted[0]

    print('预测结果', classIndex_)


if __name__ == '__main__':
    pridict()

声明: 总结学习,有问题或不当之处,可以批评指正哦,谢谢。

参考链接

模型预测问题:https://www.jianshu.com/p/a4011b31466c

  • 9
    点赞
  • 61
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
当你构建好PyTorch模型并训练完成后,需要把模型保存下来以备后续使用。这时你需要学会如何加载这个模型,以下是PyTorch模型加载方法的汇总。 ## 1. 加载整个模型 ```python import torch # 加载模型 model = torch.load('model.pth') # 使用模型进行预测 output = model(input) ``` 这个方法可以轻松地加载整个模型,包括模型的结构和参数。需要注意的是,如果你的模型是在另一个设备上训练的(如GPU),则需要在加载时指定设备。 ```python # 加载模型到GPU device = torch.device('cuda') model = torch.load('model.pth', map_location=device) ``` ## 2. 加载模型参数 如果你只需要加载模型参数,而不是整个模型,可以使用以下方法: ```python import torch from model import Model # 创建模型 model = Model() # 加载模型参数 model.load_state_dict(torch.load('model.pth')) # 使用模型进行预测 output = model(input) ``` 需要注意的是,这个方法只能加载模型参数,而不包括模型结构。因此,你需要先创建一个新的模型实例,并确保它的结构与你保存模型一致。 ## 3. 加载部分模型参数 有时候你只需要加载模型的部分参数,而不是全部参数。这时你可以使用以下方法: ```python import torch from model import Model # 创建模型 model = Model() # 加载部分模型参数 state_dict = torch.load('model.pth') new_state_dict = {} for k, v in state_dict.items(): if k.startswith('layer1'): # 加载 layer1 的参数 new_state_dict[k] = v model.load_state_dict(new_state_dict, strict=False) # 使用模型进行预测 output = model(input) ``` 这个方法可以根据需要选择加载模型的部分参数,而不用加载全部参数。 ## 4. 加载其他框架的模型 如果你需要加载其他深度学习框架(如TensorFlow)训练的模型,可以使用以下方法: ```python import torch import tensorflow as tf # 加载 TensorFlow 模型 tf_model = tf.keras.models.load_model('model.h5') # 将 TensorFlow 模型转换为 PyTorch 模型 input_tensor = torch.randn(1, 3, 224, 224) tf_output = tf_model(input_tensor.numpy()) pytorch_model = torch.nn.Sequential( # ... 构建与 TensorFlow 模型相同的结构 ) pytorch_model.load_state_dict(torch.load('model.pth')) # 使用 PyTorch 模型进行预测 pytorch_output = pytorch_model(input_tensor) ``` 这个方法先将 TensorFlow 模型加载到内存中,然后将其转换为 PyTorch 模型。需要注意的是,转换过程可能会涉及到一些细节问题,因此可能需要进行一些额外的调整。 ## 总结 PyTorch模型加载方法有很多,具体要根据实际情况选择。在使用时,需要注意模型结构和参数的一致性,以及指定正确的设备(如GPU)。
评论 7
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值