pytorch DataParallel理解及易犯错误（逻辑上感觉没问题，但是返回时候却出错）

最新推荐文章于 2023-03-31 21:39:05 发布

jack_ya_ng

最新推荐文章于 2023-03-31 21:39:05 发布

阅读量7.3k

点赞数 2

分类专栏： pytorch

本文链接：https://blog.csdn.net/yangshaokangrushi/article/details/104527352

版权

本文只针对单机多GPU使用dataparallel进行加速运算。

写在前边： dataparallel只存在于继承了nn.Modules类的forward()计算中。
大致流程如下：

import torch

model = Net() #初始化模型
for i, (input_datas, label_datas) in enumerate(data_loader):
	#step 1: 数据放到GPU上
	input_datas = input_datas.

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

jack_ya_ng

关注关注

2
点赞
踩
8

收藏

觉得还不错? 一键收藏
17
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

PyTorch深度学习实战（3）——使用PyTorch构建神经网络

盼小辉丶的博客

06-13

6万+

PyTorch 是一个用于构建深度神经网络的库，具有灵活性和可扩展性，可以轻松自定义模型。在本节中，我们将使用 PyTorch 库构建神经网络，利用张量对象操作和梯度值计算更新网络权重，并利用 Sequential 类简化网络构建过程，最后还介绍了如何使用 save、load 方法保存和加载模型，以节省模型训练时间。

Pytorch中的nn.DataParallel()

weixin_44737266的博客

05-06

562

多GPU训练与BN归一化的关系？nn.DataParallel()BN归一化 nn.DataParallel() 当有多个GPU资源，且使用nn.DataParallel()，把模型同时放在多个GPU上时，需要注意：输入：在执行forward()函数时，输入到模型中的batch会被分配到不同的GPU上并行进行计算，拆分维度默认为第一维度（dim=0），例如：输入数据为（24,2,32,32），GPU数量为3，则每个GPU上都会有一个forward()函数，且数据为（8,2,32,32），三个forwar

17 条评论您还未登录，请先登录后发表或查看评论

解决GPU--CPU转换以及加载多GPU模型后使用pytorch的DataParallel()时出现的错误

Lyndsey的博客

11-23

498

1、解决runtimeError: Attempting to deserialize object on a CUDA device but torch.cuda.is_available() is False. If you are running on a CPU-only machine, please use torch.load with map_location=‘cpu’ to map your storages to the CPU. 参考链接： https://www.cnblogs.c

PyTorch DataParallel的一些坑点和使用技巧

qq_43714612的博客

08-03

8403

1. 报错PyTorch DataParallel RuntimeError: expected device cuda:1 but got device cuda:0 原因是直接使用了DataParallel作为神经网络。 # 可能报错的写法 model = DataParallel(Res_Net()) out = model(input) # 解决办法 model = DataParallel(Res_Net()) model = model.modukle() out = model(input)

Pytorch:多块GPU调用细节问题及Pytorch的nn.DataParallel解释

weixin_41297324的博客

01-29

8119

我们用实验室带有多块卡的GPU服务器，当我们在上面跑程序的时候，当迭代次数或者epoch足够大的时候，我们通常会使用nn.DataParallel函数加入以下代码段来用多个GPU来加速训练。 device_ids = [0, 1] net = torch.nn.DataParallel(net, device_ids=device_ids) 然鹅，也常常会由于正在运行程序的0卡显存不够放不下我们新来的模型初始化数据而导致显存OOM的问题不断，使得模型无法训练，同时报出警告： UserWarning

pytorch加载nn.DataParallel训练的模型出现的问题

景唯acr

09-15

4948

nn.DataParallel分布式训练后，如果直接使用torch.save(model.state_dict(), model_out_path)保存模型，等到再加载模型，可以将需要加载模型的网络也弄成分布式训练。分布式训练时，最好使用torch.save(model.module.state_dict(), model_out_path)保存模型，这样等到需要测试网络时，加载模型时用model.load_state_dict(torch.load(PATH, map_location=device))

pytorch nn.DataParallel 测试时，用在读入模型参数之后

VIEO

03-18

766

Missing key(s) in state_dict: "module.features.0.weight", "module.features.0.bias", .... Unexpected key(s) in state_dict: "features.0.weight", "features.0.bias", ... nn.DataParallel是pytorch使用多gpu训练时所使用的方法，但是使用nn.DataParallel之后，模型的读取就会有所不同。最常见的情况就是使用的预训练.

Pytorch中torch.nn.DataParallel负载均衡问题

m_buddy的博客

07-22

6525

1. 问题概述现在Pytorc下进行多卡训练主流的是采用torch.nn.parallel.DistributedDataParallel()（DDP）方法，但是在一些特殊的情况下这样的方法就使用不了了，特别是在进行与GAN相关的训练的时候，假如使用的损失函数是 WGAN-GP(LP)，DRAGAN，那么其中会用到基于梯度的惩罚，其使用到的函数为torch.autograd.grad()，但是很不幸的是在实验的过程中该函数使用DDP会报错： File "/home/work/anaconda3/envs/

pytorch使用DataParallel加速（包括RNN疑难杂症处理）

AnUnverse的博客

07-28

2128

DataParallel的基本使用方法很简单，只需设置device_ids即可，如下所示： device_ids = [0, 1, 2, 3] model = torch.nn.DataParallel(model, device_ids=device_ids) device_ids为你要使用的GPU号。如果你未使用DataParallel之前用的便是单GPU进行训练，那么对于数据不需要额外的操作，否则，你需要将模型的输入数据转移到cuda上，如： # 此处device与device_ids无关，

pytorch单机多卡：从DataParallel到distributedDataParallel

热门推荐

weixin_39718268的博客

03-22

1万+

pytorch单机多卡：从DataParallel到distributedDataParallel 最近想做的实验比较多，于是稍微学习了一下和pytorch相关的加速方式。本人之前一直在使用DataParalle

pytorch DataParallel 数据对象分割问题

3D的博客

06-16

1516

报错信息： RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cuda:0 and cuda:1! 问题原因：传入模型的数据格式为对象（object），

【pytorch记录】模型的分布式训练DataParallel、DistributedDataParallel

magic_ll的博客

06-27

1980

使用多GPU对神经网络进行训练时，pytorch有相应的api将模型放到多GPU上运行。 torch.nn.parallel.DistributedDataParallel(model, device_ids=[args.local_rank]) 两者的区别： nn.DataParallel 使用单进程控制，将模型和数据加载到多个GPU中 gpus=[0,1] torch.nn.DataParallel(model.cuda(), decice_ids=gpus, output_device=gpu

torch使用DataParallel并行时，模型使用Forward函数注册属性变量丢失的问题（表现为局部变量而不是类属性）

weixin_44839047的博客

09-24

441

torch使用DataParallel并行时，模型使用Forward函数注册属性变量丢失的问题（表现为局部变量而不是类属性）如标题表达，关注’m’属性和’y’属性的变化。注意到通过调用并行模型的forward函数注册self.m变量并没有成功成为类的属性变量。但是通过自己实现的test函数注册的self.y变量成功成为了类属性变量。原理未知，望大佬赐教 xxx.py文件内容测试结果 ...

PyTorch并行与分布式(三)DataParallel原理、源码解析、举例实战

小小何先生的学习之旅

12-12

3996

文章目录简要概览源码解析实例简要概览 pytorch官方提供的数据并行类为： torch.nn.DataParallel(module, device_ids=None, output_device=None, dim=0) 当给定model时，主要实现功能是将input数据依据batch的这个维度，将数据划分到指定的设备上。其他的对象(objects)复制到每个设备上。在前向传播的过程中，module被复制到每个设备上，每个复制的副本处理一部分输入数据。在反向传播过程中，每个副本module的

pytorch使用DataParallel时遇到的几个问题

tyler的博客

11-15

2980

import Model import torch device = torch.device("cuda" if torch.cuda.is_available() else "cpu") model = Model(input) model.to(device) model = torch.nn.DataParallel(model) ... 1、问题1： ValueError: only one element tensors can be converted to Python scalars

Pytorch使用nn.DataParallel失效：只能使用单GPU / 无法使用多GPU训练

学习 & 分享 ~

05-13

6246

官方文档： torch.nn.DataParallelDataParallel 在 Module 级别实现并行计算，关于使用了 DataParallel 而实际训练时不起作用（只能使用单 GPU）的可能原因：1. 设置的 Batch Size 小于可用的 GPU 数量，这一点在官方文档中也有说明：需要保证大于使用的 GPU 数量。2. 未使用 nn.Module 的默认 forward() 方法执行前向传播。一般情况下，定义的 Model 继承自，在进行前向传播时，调用函数，能够进行多 GPU 并行

LSTM多GPU训练、pytorch 多GPU 数据并行模式踩坑日记， LSTM, nn.DataParallel()

目标：NLP算法工程师

05-12

3149

LSTM多GPU训练 pytorch 多GPU 数据并行模式踩坑日记多GPU训练时遇到的BUG解决方法

pytorch多卡训练nn.DataParallel和nn.DistributedDataParallel比较

weixin_38076506的博客

04-17

3461

本文来源于：Pytorch Distributed - 知乎 Pytorch Distributed 现在的模型越来越大，并行显得越来越重要，而众所周知，pytorch 的并行文档写的非常不清楚，不仅影响使用，甚至我们都不知道他的工作原理。一次偶然的机会，我发现了几篇在这方面写的很好的文章，因此也准备参考别人的（参考的文章在Reference部分列出）再结合自己的使用经验总结一下。 nn.DataParallel Pytorch的数据并行方式，是经常使用的单机多卡的并行方式。工作原理这种方式

Pytorch：关于nn.dataParallel我所踩过的坑