ValueError: DistributedDataParallel device_ids and output_device arguments only work ...单机多卡训练解决

已于 2022-03-24 15:41:02 修改
阅读量7.1k 收藏 7
点赞数 8
分类专栏： 深度学习 目标检测 文章标签： python pytorch 单机多卡训练
于 2022-03-24 15:25:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37700257/article/details/123712083
版权

完整报错信息

ValueError: DistributedDataParallel device_ids and output_device arguments only work with single-device/multiple-device GPU modules or CPU modules, but got device_ids [1], output_device 1, and module parameters {device(type=‘cpu’)}.

原因

nn.parallel.DistributedDataParallel(model, device_ids=[local_rank], output_device=local_rank)

  在使用“DistributedDataParallel”时，model没有先放在GPU上，而是默认的CPU。只需要如下修改既可。

nn.parallel.DistributedDataParallel(model.cuda(), device_ids=[local_rank], output_device=local_rank)
锦鲤AI幸运
关注
  • 8
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
pytorch使用记录（三） 多GPU训练
daydayjump的博客
07-22 5万+
  在具体使用pytorch框架进行训练的时候，发现实验室的服务器是多GPU服务器，因此需要在训练过程中，将网络参数都放入多GPU中进行训练。    正文开始：    涉及的代码为torch.nn.DataParallel，而且官方推荐使用nn.DataParallel而不是使用multiprocessing。官方代码文档如下：nn.DataParallel   教程文档如下：tutorial...
查看xgb特征重要性输出全是nan，ValueError:’Booster.get_score() results in empty’ 的原因及解决方案
12-21
1 问题描述 我想用XGBoost来建立一个模型，通过特征构造之后我需要做一个特征选择来减少特征数量、降维，使模型泛化能力更强，减少过拟合： 这里尝试通过查看特征重要性来筛选特征： from xgboost import XGBRegressor from xgboost import plot_importance xgb = XGBRegressor() xgb.fit(X, Y) print(xgb.feature_importances_) plt.figure(figsize=(20, 10)) plot_importance(xgb) plt.show() 输出如下： 这里输出
pytorch 分布式训练 distributed parallel 笔记
热门推荐
JPZ的各种笔记
01-20 6万+
此文章仅供学习使用，请勿用作商业用途。 在GPU上进行训练 查看自己的GPU并赋值device device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") net.to(device) inputs, labels = inputs.to(device), labels.to(device) 多GPU并行编程 普...
Pytorch使用DistributedDataParallel单机多卡训练时遇到ValueError: sampler option is mutually exclusive with shuff
hjxu2016的博客
12-16 2479
Pytorch使用DistributedDataParallel单机多卡训练时遇到 ValueError: sampler option is mutually exclusive with shuffle的报错 是因为sampler选项与shuffle互斥 在数据读取这一块，需要将shuffle改成 False train_dataset = datasets.ImageFolder(root='data/train/', transform=data_transform) train_sampler =
pytorch常见分布式训练报错（另备忘模型分布式后，named_modules,前会加module.）
GZKPeng的博客
08-26 3792
1、–nproc_per_node=设置错误，比如就2块可见卡，设置3，那么代码中这行torch.cuda.set_device(args.local_rank)2、在使用“DistributedDataParallel”时，model没有先放在GPU上，而是默认的CPU。3、在优化器中添加参数时，获取参数应该用未DDP封装的model，如果有DDP封装的model就会报如下错误：......
Neural Style Transfer.rar_styletransfer. dll_tensorflow 风格迁移_tra
07-14
使用VGG19网络为基础，搭建新的网络模型，采用迁移学习的方法，使用已有权值参数，对输入图形进行风格变换
pytorch单机多卡DistributedDataParallel (DDP)分布式训练
xwyljt的博客
09-21 2307
利用pytorch的DistributedDataParallel进行单机多卡分布式训练。
[AI算法][Pytorch]：分布式训练
Bin_Dut的博客
10-25 1143
1. 数据并行训练 PyTorch 为数据并行训练提供了多种选项。对于从简单到复杂，从原型到量产逐渐增长的应用，共同的发展轨迹是： 使用单机训练，如果数据和模型可以放在一个 GPU 中，并且训练速度不是问题。 使用单机多 GPU DataParallel，如果服务器上有多个 GPU，并且您希望以最少的代码更改来加速训练。 使用单机多 GPU DistributedDataParallel，如果您想进一步加快训练速度并愿意编写更多代码来设置它。 如果应用程序需要跨机器边界扩展，请使用多机Distribute
pytorch 分布式多卡训练DistributedDataParallel 踩坑记
comway_Li的博客
07-23 3万+
前言： 　　近几天想研究了多卡训练，就花了点时间，本以为会很轻松，可是好多坑，一步一步踏过来，一般分布式训练分为单机多卡与多机多卡两种类型； 主要有两种方式实现： １、DataParallel: Parameter Server模式，一张卡位reducer，实现也超级简单，一行代码 DataParallel是基于Parameter server的算法，负载不均衡的问题比较严重，有时在模型较大的时候（比如bert-large），reducer的那张卡会多出3-4g的显存占用 ２、Distr...
pytorch多GPU并行训练DistributedDataParallel应用和踩坑记录
NEW
10-26 3369
1 DataParallel 据说存在多个GPU之间显存不均衡的问题，因此我直接选择了pytorch所建议的DistributedDataParallel，为多机多卡设计，但同时也可以实现单机多卡，能够使得各个GPU之间负载均衡。 2 DistributedDataParallel 现在的DistributedDataParallel是基于多进程策略的多GPU训练方式。首先是单机多卡的方式上，针对每个GPU，启动一个进程，然后这些进程在最开始的时候会保持一致，同时在更新模型的时候，梯度传播也是完全一致的，
ValueError: To call `multi_gpu_model` with `gpus=2`, we expect the following devices to be available
最新发布
m0_52102586的博客
12-28 449
在跑GitHub上面语音识别代码碰到了如下报错：求助大佬。
解决yolov7训练ValueError:not enough values to unpack(expected 3,got0
12-21
报错提示为：labels, shapes, self.segments = zip(cache.values()) 我是事先在yolov8pose中训练没问题，继续用数据集训练yolov7pose时出现问题。按照网上有的方法都没办法解决，最后修改标签文件成功解决。 这里我提供一个脚本，将txt转化之后既可以解决！ 这里错误提示是 你的datasets.py中的读取labels缓存的函数 没有读到东西， 证明你可能没有图片载入缓存 ，这通常原因可能是 1、my.ymal的路径不对 2、图片， 标签 名称包含中文 3、你的标签文件的class分类是负数，是否归一化 在你检查上述所有的解决办法没问题后，我解决这个问题的最重要的一步： 删除之前产生的train.cache和val.cache，然后再进行训练
keras报错：ValueError: Cannot create group in read only mode
01-20
keras保存模型时，使用的是m.save_weights，只保存了模型的权重而没有结构，直接使用keras.models.load_model就会报错。所以，可以重新构建相同结构的模型，（m.save_weights）使用m.load_weights；或者如上m.save，keras.models.load_model。 参考：https://blog.csdn.net/nima1994/article/details/91045745 但是我的问题是：我导入的模型是别人的，如何直接导入只有权重没有结构的模型呢？ 1、keras.models.load_model() 读取网络、权重    
python3.7解决最小二乘遇到ValueError:Expected 2D array, got 1D array instead: array=[5.].关于reshape和predict
01-20
在用python的LinearRegression做最小二乘时遇到如下错误： ValueError: Expected 2D array, got 1D array instead: array=[5.]. Reshape your data either using array.reshape(-1, 1) if your data has a single feature or array.reshape(1, -1) if it contains a single sample. 翻译过来是： ValueError：预期为2D数组，改为获取1D数组： 数组= [5.]。 如果数据具有单个
ansible-modules-bitwarden：Ansible的Bitwarden集成
02-02
ansible-modules-bitwarden Bitwarden与Ansible的集成。 安装 安装此查找插件的最简单方法是使用ansible-galaxy命令： ansible-galaxy install git+https://github.com/c0sco/ansible-modules-bitwarden 这会将ansible-modules-bitwarden角色放入$HOME/.ansible/roles ，该$HOME/.ansible/roles将对您在系统上运行的所有剧本可用。 查找插件 要使用此插件，您需要通过在游戏中加入角色来激活它。 例如： - hosts: localhost roles: - ansible-modules-bitwarden 将Ansible的lookup()函数与bitwarden参数一起使用，后跟要检索的项目。 默认字段是password ，但是可以使用名为arguments的field指定其他任何字段。 如果您需要指定Bitwarden CLI二进制文件的path ，请使用名为arguments的path
解决Tensorflow2.0 tf.keras.Model.load_weights() 报错处理问题
12-17
4、模型报错：ValueError: You are trying to load a weight file containing 12 layers into a model with 0 layers. 问题分析： 模型创建后还没有编译，一般是在模型加载前调用model.build(input_shape), 但我通过...
Python ValueError: invalid literal for int() with base 10 实用解决方法
12-23
网上同样的错误有人建议用round(float(“1.0″))，但是解决不了我这个问题，round(float(“1.0″))是用于解决浮点数转换为整形数的， 而我这个则是因为原字符串转换为整形后做除法，虽然一段时间内可能不报错，但...
Pytorch 使用多块GPU训练模型
tiancanucas的博客
04-29 5644
1. 先确定几个概念： ①分布式、并行：分布式是指多台服务器的多块GPU(多机多卡)，而并行一般指的是一台服务器的多个GPU(单机多卡)。 ②模型并行、数据并行：当模型很大，单张卡放不下时，需要将模型分成多个部分分别放到不同的卡上，每张卡输入的数据相同，这种方式叫做模型并行；而将不同的数据分配到不同的卡上，运行相同的模型，最后收集所有卡的运算结果来提高训练速度的方式叫数据并行。相比于模型并行，数据并行更为常用，以下我们主要讲述关于数据并行的内容。 ③同步更新、...
Pytorch并行计算(二): DistributedDataParallel介绍
芒果干的博客
11-19 1万+
PyTorch并行计算一、为什么要并行计算？二、基本概念三、DistributedDataParallel的使用1. multiprocessing2. distributed二者区别一些BUG和问题 nn.parallel.DistributedDataParallel 这部分是nn.DataParallel的后续，想看nn.DataParallel的点击这里 为什么要用nn.parallel.DistributedDataParallel呢，首先我们看PyTorch官网对nn.DataParallel的
valueerror: tensorflow.__spec__ is none
03-17
这个错误通常是由于 TensorFlow 版本不兼容或安装不正确导致的。您可以尝试以下解决方法： 1. 确保您安装的 TensorFlow 版本与您的 Python 版本兼容。您可以在 TensorFlow 官方网站上查看版本兼容性表格。 2. 确保您已正确安装 TensorFlow。您可以尝试重新安装 TensorFlow 或使用 pip 检查 TensorFlow 是否已正确安装。 3. 如果您正在使用 Anaconda，请确保您已正确配置 Anaconda 环境并安装了 TensorFlow。 4. 如果您正在使用 Jupyter Notebook，请确保您已正确配置 Jupyter Notebook 环境并安装了 TensorFlow。 如果以上方法都无法解决问题，请尝试在 TensorFlow 官方论坛或 GitHub 上寻求帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

锦鲤AI幸运

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值