Pytorch框架下，在多GPU上训练，CPU下测试时的问题小记

最新推荐文章于 2023-09-07 14:10:49 发布
最新推荐文章于 2023-09-07 14:10:49 发布
阅读量519 收藏 1
点赞数 2
文章标签： pytorch 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44425647/article/details/129443598
版权

出现错误：

RuntimeError: module must have its parameters and buffers on device cuda:0 (device_ids[0]) but found one of them on device: cpu

这是由于之前训练model的时候，采用的是nn.DataParallel()进行多GPU训练，因此如果希望在CPU上进行测试，则将

device = 'cpu'
net = net.to(device)
<
最低0.47元/天 解锁文章
jimon"铭
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
pytorch——多GPU训练，CPU测试出现的问题
weixin_38208912的博客
03-06 1876
我在训练模型的时候使用了nn.DataParallel，并在在服务器gpu测试也同时将训练好的模型并行载入，这样没有问题，但是我将训练好的模型在本地cpu运行的时候出错。这里记录出错的地方，并记录大致流程。 1. CPU读取模型： RuntimeError: Attempting to deserialize object on a CUDA device but torch.cuda.is_av...
pytorch中 gpu与gpu、gpu与cpu 在load时相互转化操作
09-16
首先，理解问题背景：当尝试在不同GPU上加载已经训练好的模型时，可能会遇到“out of memory”的错误，即使当前GPU的内存并未满。这是因为PyTorch的模型在训练过程中会记录其所在的设备信息。因此，如果训练时使用的...
【pytorch】gpu训练的模型无法在cpu下使用问题解决
zkq_1986的博客
06-05 4465
最近遇到一个问题，发下gpu训练的模型在cpu下不能跑，很难受。 结果发现原来是自己使用了DataParallel的问题，我保存的是整个模型。 model=DataParalle(model) torch.save(‘xx.pkl’,model) 然后把模型copy到自己电脑上用cpu跑 model=torch.load(‘xx.pkl’) #此处报错了。。。。 原因是cpu环境不能直接导入gpu训练的DataParallel模型 所以换个策略,现在gpu把模型转化掉 model =
【Pytorch】pytorch使用多张GPU进行训练以及测试调用模型
qq_44747572的博客
05-07 1608
@【TOC】 使用多张GPU进行训练的代码 os.environ["CUDA_VISIBLE_DEVICES"] = "0,1,2,3" device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") print(device) model = getModel(args) if torch.cuda.device_count() > 1: print("Let's use", torch.cuda.device_c
Pytorch 尝试通过强化cpu使用加快训练和推理速度（二）
qq_36401512的博客
04-09 796
简介：这系列第一篇中讲了多线程和多进程的适用范围，写这篇的原因是遇到了进程池嵌套进程池的问题。（情况：我写的代码中使用了进程池，其中一个进程调用它他人写的使用进程池的函数。表现：他的函数直接跳过没有任何报错，最终定位到pool=Pool（x）。） 1. 先举个进程池嵌套进程池的代码例子.（参考后续文献） import multiprocessing import multiprocessing.pool import time from random import randint def slee
pytorch 使用 CPU 多进程多核训练模型--转载自 “呆萌的代Ma”
DocVenom的博客
11-29 2715
导包 import torch.multiprocessing as mp import torch import torch.nn as nn import torch.utils.data as Data 这里使用torch.multiprocessing构造多进程，与python的多进程神似 准备训练数据（同单进程） 这里使用随机数生成训练数据，就不用下载什么数据了 def get_train_data(): """得到训练数据，这里使用随机数生成训练数据，由此导致最终结果并不好"""
pytorch 使用单个GPU与多个GPU进行训练与测试的方法
09-18
今天小编就为大家分享一篇pytorch 使用单个GPU与多个GPU进行训练与测试的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
解决pytorch多GPU训练保存的模型,在单GPU环境下加载出错问题
09-16
主要介绍了解决pytorch多GPU训练保存的模型,在单GPU环境下加载出错问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
pytorch多GPU并行训练教程及源码
10-16
多GPU启动指令说明： 1.如果要使用train_multi_gpu_using_launch.py脚本，使用以下指令启动 python -m torch.distributed.launch --nproc_per_node=8 --use_env train_multi_gpu_using_launch.py其中nproc_per_node...
PyTorch使用cpu加载模型运算方式
09-18
今天小编就为大家分享一篇PyTorch使用cpu加载模型运算方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
PyTorch多GPU训练模型——使用单GPU或CPU进行推理的方法
qq_44949041的博客
09-07 3286
使用DataParallel`和DistributedDataParallel进行多GPU并行训练并报错模型，在推理阶段采用单个GPU或者CPU加载模型。加载时容易出现两种错误：IndexError: list index out of range 和 Missing key(s) in state_dict:。这时可以采用map_location=device等方法进行解决。
深度学习用服务器显卡、CPU或者显卡做训练时，pytorch框架分类预训练参数解读修改经验分享
qq_55433305的博客
03-07 765
深度学习用服务器显卡、CPU或者显卡做训练时，pytorch框架分类预训练参数解读修改，num_classes，训练GPU优先设置，transforms.RandomResizedCrop，batch_size，transforms.RandomHorizontalFlip()，transforms.ToTensor()，shuffle ，num_workers ，pin_memory使用含义
pytorch学习
789请问的博客
12-30 826
1.损失函数 对于pytorch中nn.CrossEntropyLoss()与nn.BCELoss()的理解和使用_东城西阙的博客-CSDN博客_什么时候用bceloss
【pytorch】gpu训练的模型在cpu中使用
可乐大牛的博客
02-18 2465
https://www.cnblogs.com/zgqcn/p/14015832.html
pytorch在DataParallel训练保存的模型如何在CPU上运行？
xu.hyj
04-09 1435
0、问题描述 当使用torch.nn.DataParallel()在多GPU上训练并保存的模型，直接在CPU上通过load_state_dict()加载模型时会报错， state_dict=torch.load("DataParallel_pretrained_path") model.load_state_dict(state_dict) 如下图： 也就是通过多GPU训练保存的模型，某些层名会多出"module."的前缀，导致层名不匹配 1、解决办法 也简单，只要在加载参数之前，将"module.xx
将多个GPU上用pytorch框架并行训练的神经网络模型应用到CPU上
qwertyu_1234567的博客
10-23 814
本人用pytorch框架在两块GPU上并行训练了一个神经网络模型，并将训练的不同阶段的结果保存起来，以便用于模型集成。 虽然模型是在GPU上训练的，但是在服务器上部署的时候只需用CPU就可以进行模型推断。但在实际应用中，却出现如下报错信息： RuntimeError: module must have its parameters and buffers on device cuda:0 (device_ids[0]) but found one of them on device: cpu 解决的思
pytorch分布式训练详解
weixin_42815846的博客
07-03 1133
1、CPU核心/线程 假设一个4核心8线程CPU，每个核心支持2个线程。对于一个核心来说，不论线程支持多少，总是同一时间只能运行一个线程，利用时间片分割，进行线程间的切换，所以在一个核心上的多线程本质不是并行，只是并发。这种情况下，多线程不一定比单线程快，因为线程间的切换以及可能涉及的互斥锁等问题，都可能导致时间消耗更大，程序运行反而更慢。但也有特殊情况，比如用python写爬虫，假设一个python程序运行在一个CPU核心上，也就是只能利用多线程。此时请求不同的url，因为每次请求后都会有等待，才能接收到
CPU与GPU训练模板（pytorch框架入门篇）
栋哥修炼日记
04-11 2383
原始cpu训练 import torchvision from torch.utils.data import DataLoader from torch.nn import Sequential,Conv2d,MaxPool2d,Flatten,Linear from torch import nn import torch #from mymodel import * # 搭建网络模型====上面的数据集是十分类的网络最后的FC 一定要注意啊 from torch.utils.tensorboard
PyTorch使用cpu调用gpu训练的模型
热门推荐
观自在的博客
08-09 3万+
最近遇到一个问题，发下gpu训练的模型在cpu下不能跑，很难受。 结果发现原来是自己使用了DataParallel的问题，我保存的是整个模型。 model=DataParalle(model) torch.save('xx.pkl',model) 然后把模型copy到自己电脑上用cpu跑 model=torch.load('xx.pkl') #此处报错了。。。。 原因是cp...
基于pytorch的代码在不同gpu上推理测试输出结果不同问题
最新发布
12-29
基于pytorch的代码在不同gpu上推理测试输出结果不同的问题可能是由于不同gpu的架构、性能和驱动程序版本的差异所致。在进行模型推理测试时，不同的gpu可能会有不同的计算精度、内存大小和处理速度，这些差异都有可能...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值