Pytorch加载多GPU模型预测

最新推荐文章于 2023-04-12 11:47:10 发布
最新推荐文章于 2023-04-12 11:47:10 发布
阅读量3.7k 收藏 4
点赞数 3
文章标签： Pytorch 加载模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_16542771/article/details/102388842
版权

Pytorch加载多GPU模型预测

Load模型参数

使用多GPU训练的模型在save时参数字典会键会添加model.关键字，在CPU或者单GPU使用时会引发错误Unexpected key(s) in state_dict: “module.features. …”.，Expected “.features…”。在保存时用如下语句可解决：

torch.save(model.module.state_dict(), model_out_path)

若是直接保存的，CPU使用时Load方法：

        pretrain = torch.load(model_path, map_location=lambda storage, loc: storage)
        # model_path 是模型的完整路径
        from collections import OrderedDict
        new_state_dict = OrderedDict
最低0.47元/天 解锁文章
呲牙捏嘴
关注
  • 3
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
数据并行化:利用多GPU加速预训练过程
禅与计算机程序设计艺术
05-02 28
数据并行化:利用多GPU加速预训练过程 1.背景介绍 1.1 深度学习模型的计算复杂性 随着深度学习模型变得越来越大和复杂,训练这些模型所需的计算资源也在不断增加。以GPT-3为例,它拥有1750亿个参数,在单个GPU上训练这样
Torch7入门续集（六）----多GPU运行程序 ---- (2018-4-18更新!)
Hungryof的专栏
03-27 5888
总说 更新: 重写多GPU程序示例, 2018-4-18 先感叹一波,我竟然会时隔一年后, 再更新这个, 本来是不想更新的,错了就错了, 根本没人看, 然而网友的评论说出现了问题, 我想还是更新一波吧, 不说了,真要给自己点个赞. Torch的多GPU程序其实并不复杂. 最简单的代码: 第一种方法(不推荐) require 'optim' require 'nn' ...
多GPU卡训练/预测使用指定GPU
weixin_45864655的博客
04-12 433
MODEL为你的模型，device_ids=[0,1,2,3]可以填写单个或多个。
pytorch 多gpu训练
Snoopy_Dream
12-06 636
在torch.nn.DataParallel #多gpu训练 device_ids = [0,1] .... model=resnetv2sn18() if use_gpu and len(device_ids)>1:#多gpu训练     model = model.cuda(device_ids[0])     model = nn.DataParallel(model, de...
pytorch多GPU使用和指定某个GPU并且多gpu比单gpu快吗？
ls714628712的博客
01-04 5116
pytorch多GPU使用和指定某个GPU并且多gpu比单gpu快吗？
17 NLP_pytorch(GPU 实现线性回归)
weixin_41672684的博客
05-18 181
import torch import torch.nn as nn from torch import optim import matplotlib.pyplot as plt import numpy as np #定义一个device对象 device=torch.device("cuda" if torch.cuda.is_available() else "cpu") # 0 定义数据 x=torch.rand([50,1]).to(device) y=x*3+0.8 #因为x是GPU.
Pytorch加载部分预训练模型的参数实例
09-18
PyTorch作为一个灵活且强大的深度学习框架，提供了加载预训练模型参数的功能，这对于研究和实践非常有用。本文将详细探讨如何在PyTorch中加载部分预训练模型的参数，并通过实例进行说明。 首先，当我们使用的模型与...
PyTorch使用cpu加载模型运算方式
09-18
在PyTorch中，当你没有GPU或者CUDA支持时，仍可以使用CPU进行模型的加载和运算。本篇文章将详细介绍如何在PyTorch中利用CPU来加载和执行模型运算。 首先，当你从磁盘加载一个已经训练好的模型时，通常会使用`torch....
解决pytorch多GPU训练保存的模型,在单GPU环境下加载出错问题
09-16
主要介绍了解决pytorch多GPU训练保存的模型,在单GPU环境下加载出错问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
基于数据并行实现多GPU跑模型预测（VGG16示例）
凡心所向.AI
04-30 2155
个人总结能实现多GPU跑图的方法： 1、使用谷歌框架tf.estimator； session_config = tf.ConfigProto(device_count={'GPU': 0,'GPU':1,'GPU':2,'GPU':3}) run_config = tf.estimator.RunConfig().replace(session_config=session_confi...
Pytorch多GPU计算之torch.nn.DataParallel()
migue_math
02-20 8238
pytorch中的GPU操作默认是异步的，当调用一个使用GPU的函数时，这些操作会在特定设备上排队但不一定在稍后执行。这就使得pytorch可以进行并行计算。但是pytorch异步计算的效果对调用者是不可见的。 但平时我们用的更多其实是多GPU的并行计算，例如使用多个GPU训练同一个模型。Pytorch中的多GPU并行计算是数据级并行，相当于开了多个进程，每个进程自己独立运行，然后再整合在一起。 ...
pytorch使用多显卡训练
qq_44108731的博客
12-17 4671
多显卡参考链接 链接1 链接2 链接3 第一步：设置多卡训练正确 如果服务器的0号卡被别人占用，就得在刚开始加上这几行代码，手动更改0号显卡是2,1号卡是3。实际上，在通过各种提交方式提交程序作业至服务器，被分配好显卡之后，CUDA_VISIBLE_DEVICES已经被设置为可用的卡的逻辑编号了，直接写就好了。 如果想得知自己使用的是哪一张卡，可以使用os.environ查看系统环境比那辆，应该就能找到。 习惯放在import os之后 os.environ["CUDA_DEVICE_ORDER"] = "
PyTorch时间序列预测GPU运行示例模型
Sebastien23的博客
06-04 2566
官方Github上给的例子是CPU版本：https://github.com/pytorch/examples/tree/master/time_sequence_prediction下面的代码将其改为了GPU版本。除了将网络模型和输入迁移到显卡上之外，还有注意两点：一是计算隐藏层状态和细胞状态时也需要把h和c的值迁移到显卡上；二是在画图之前需要把预测值迁移回到CPU上才能将其转化为numpy数组...
pytorch单GPU模型加载多GPU保存的参数
read, note and comment papers
11-24 1070
from collections import OrderedDict state_dict = torch.load(para_path) new_state_dict = OrderedDict() for k, v in state_dict.items(): name = k[7:] # remove `module.` new_state_dict[name] = v net.load_state_dict(new_state_dict)
c++调用pytorch模型并使用GPU进行预测
热门推荐
u010397980的博客
04-21 2万+
pytorch很好用，但是真实部署还是使用c++较多，因此需要用c++调用训练好的pytorch模型。参考官方示例https://github.com/apachecn/pytorch-doc-zh/blob/master/docs/1.0/cpp_export.md安装libtorch。但是官方示例中并没有使用真实的例子，且使用的是cpu版本的。 下面用一个真实的例子并用gpu，本示例的所有程...
torch笔记二十一 | 单机多卡并行
滨哥v5的博客
06-21 1694
多GPU并行运算
Pytorch 加载多gpu模型+解决加载模型测试结果不正确
sd-lz的博客
05-06 2247
将模型加载到多gpu上的时候，会用到 model = torch.nn.DataParallel(model, device_ids=[1, 2, 3]) 因此在保存模型的时候，若直接 torch.save(model.state_dict(), save_dict_path) 加载后的模型参数每个都会带有 module 如果使用strict=False的加载方式，很有可能会使测试结果不同 model.load_state_dict(weights_dict, strict=False)
pytorch加载预训练模型不要module多gpu
最新发布
07-15
### 回答1： 在PyTorch中加载预训练模型时，如果不想使用多GPU，可以通过以下步骤进行操作。 首先，我们需要导入必要的库和模块： ```python import torch import torchvision.models as models ``` 接下来，我们可以选择要加载的预训练模型。这里以ResNet-50为例： ```python model = models.resnet50(pretrained=True) ``` 接下来，我们需要检查当前系统中的GPU数量。可以使用`torch.cuda.device_count()`来获取GPU的数量。 ```python gpu_count = torch.cuda.device_count() ``` 如果`gpu_count`的值大于1，表示有多个GPU可用。为了确保模型只在单个GPU上运行，我们需要使用`torch.nn.DataParallel`模块。但是，如果不想使用多GPU，则需要取消这个模块的使用。 如果只有一个GPU可用，我们可以简单地将模型转移到该GPU上： ```python if gpu_count == 1: model = model.cuda() ``` 如果有多个GPU可用，我们可以使用`torch.nn.DataParallel`模块来加载预训练模型，并将模型转移到主GPU上： ```python if gpu_count > 1: model = torch.nn.DataParallel(model).cuda() ``` 最后，我们可以使用加载的预训练模型进行后续操作。 总之，为了不使用多GPU进行模型加载，我们需要通过检查GPU数量，并相应地转移到单个GPU或使用`torch.nn.DataParallel`模块转移到主GPU上。这样可以确保模型在单个GPU上运行而不会使用多GPU。 ### 回答2： 在PyTorch中，加载预训练模型时，如果不希望使用多个GPU上的module，可以通过以下步骤实现： 首先，使用torch.load()函数加载预训练模型的权重和参数，例如： ```python model_state_dict = torch.load('pretrained_model.pth') ``` 然后，在加载模型之前，可以通过修改model_state_dict来删除原模型中包含的多GPU相关的module前缀。默认情况下，PyTorch在保存模型时，会自动添加"module."前缀来标识使用多GPU。例如，如果模型原本的键名为"module.conv1.weight"，则可以通过以下代码提取模型参数的键名： ```python new_model_state_dict = {} for k, v in model_state_dict.items(): name = k[7:] # 去掉"module."前缀 new_model_state_dict[name] = v ``` 接下来，创建新的模型实例，并将修改后的参数加载到该实例中： ```python model = YourModel() # 创建新的模型实例 model.load_state_dict(new_model_state_dict) # 加载修改后的模型参数 ``` 注意，这里的YourModel()应该是与预训练模型相同的模型类实例化得到的对象。 通过这样的处理，就可以将预训练模型加载到单个GPU上的模型中，而无需考虑多GPU的module问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值