pytorch多gpu训练踩坑记录----使用DataParallel

最新推荐文章于 2021-11-15 15:58:05 发布

qq_37483879

最新推荐文章于 2021-11-15 15:58:05 发布

阅读量1k

点赞数 2

分类专栏：多gpu训练文章标签： pytorch 深度学习

本文链接：https://blog.csdn.net/qq_37483879/article/details/109470009

版权

多gpu训练专栏收录该内容

1 篇文章 0 订阅

订阅专栏

单gpu训练时一切正常，换成2个gpu时，loss的tensor里面有两个值，最开始怀疑是每个gpu都产生一个值，后用4个gpu验证发现，还真是这样。

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

qq_37483879

关注关注

2
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
pytorch多gpu训练踩坑记录----使用DataParallel

单gpu训练时一切正常，换成2个gpu时，loss的tensor里面有两个值，最开始怀疑是每个gpu都产生一个值，后用4个gpu验证发现，还真是这样。
复制链接

扫一扫

专栏目录

Balanced-DataParallel:这里是改进了pytorch的DataParallel，使用了平衡第一个GPU的显存使用量

03-21

平衡数据并行这里是改进了pytorch的DataParallel，使用了平衡第一个GPU的显存使用量本代码来自transformer-XL： : 代码不是本人写的，但是感觉很好用，就分享一下。怎么使用：这个BalancedDataParallel类使用起来和DataParallel类似，下面是一个示例代码： my_net = MyNet() my_net = BalancedDataParallel(gpu0_bsz // acc_grad, my_net, dim=0).cuda() 这里包含三个参数，第一个参数是第一个GPU要分配多大的batch_size，但是要注意，如果您使用了渐变累积，那么此处替换的是每次进行运算的实际batch_size大小。举个例子，比如你在3个GPU上面跑代码，但是一个GPU最大只能跑3条数据，但是因为0号GPU还要做一些数据的整合操作，于是0

pytorch多gpu DataParallel 及梯度累加解决显存不平衡和显存不足问题

qq_44846512的博客

03-25

4820

最近在做图像分类实验时，在4个gpu上使用pytorch的DataParallel 函数并行跑程序，批次为16时会报如下所示的错误： RuntimeError: CUDA out of memory. Tried to allocate 858.00 MiB (GPU 3; 10.92 GiB total capacity; 10.10 GiB already allocated; 150.69 MiB free; 10.13 GiB reserved in total by PyTorch)

参与评论您还未登录，请先登录后发表或查看评论

pytorch使用DataParallel时遇到的几个问题

tyler的博客

11-15

2901

import Model import torch device = torch.device("cuda" if torch.cuda.is_available() else "cpu") model = Model(input) model.to(device) model = torch.nn.DataParallel(model) ... 1、问题1： ValueError: only one element tensors can be converted to Python scalars

Pytorch多GPU训练踩坑记录(含demo)

Akatsuki

10-13

689

GPU训练问题

PyTorch DataParallel的一些坑点和使用技巧

qq_43714612的博客

08-03

8289

1. 报错PyTorch DataParallel RuntimeError: expected device cuda:1 but got device cuda:0 原因是直接使用了DataParallel作为神经网络。 # 可能报错的写法 model = DataParallel(Res_Net()) out = model(input) # 解决办法 model = DataParallel(Res_Net()) model = model.modukle() out = model(input)

算法训练-基于Pytorch使用多GPU训练Yolov3目标检测算法-Multi-GPU-附项目源码-优质项目实战.zip

05-24

DataParallel是PyTorch中用于并行化模型训练的基础工具，它会将输入数据批次分发到多个GPU上进行计算，然后汇总梯度进行反向传播。这个过程也被称为“数据并行”。然而，当GPU数量较多时，DataParallel可能会出现...

语音Transformer-基于Multi-GPU加速+Pytorch实现Speech-Transformer实现-附项目源码

热门推荐

不忘初心不动摇

02-28

8万+

这里记录用pytorch 多GPU训练踩过的许多坑仅针对单服务器多gpu 数据并行而不是多机器分布式训练一、官方思路包装模型这是pytorch 官方的原理图按照这个官方的原理图修改应该参照 https://blog.csdn.net/qq_19598705/article/details/80396325 上文也用dataParallel 包装了optimize...

PyTorch 使用DataParallel()实现多GPU训练

不忘初心~

08-22

9232

PyTorch 使用DataParallel()实现多GPU训练

pytorch多GPU数据并行模式踩坑指南

yuuyuhaksho的博客

02-17

2万+

之前用pytorch尝试写了个文本生成对抗模型seqGAN，相关博文在这里。在部署的时候惊喜地发现有多块GPU可供训练用，于是很天真地决定把之前写的单GPU版本改写成DataParallel的方式（内心os：介有嘛呀）。于是开始了从入门到（几乎）放弃的踩坑之路。为了和大家共同进步，我把自己的经验分享一下，欢迎一起来踩坑。首先说明，我用的pytorch版本虽然不是嘎嘣新的1.0，但是是稳定版本...

pytorch 多GPU训练遇到的坑

羊藤枝的博客

09-25

4380

在打算由单GPU转成多GPU时，使用： self.model = self.model.cuda(device=device_ids[0]) self.model = torch.nn.DataParallel(self.model,device_ids=device_ids) 设置后，出现报错，报错显示读取不到模型的参数，原因是因为经过DataParallel包装...

pytorch DataParallel 多GPU训练

Smile

11-01

1627

当一台服务器有多张GPU时，运行程序默认在一张GPU上运行。通过多GPU训练，可以增大batchsize，加快训练速度。 from torch.nn import DataParallel num_gpu = torch.cuda.device_count() net = DataParallel(net, device_ides=range(num_gpu)) device_ides默认情况下...

pytorch使用多GPU训练常见问题、解决办法以及多卡保存模型时，模型预测得分不稳定的解决办法

凝眸伏笔的博客

11-09

1万+

一句话：多GPU训练模型，一句代码不能解决模型训练、eval、保存、加载的。单GPU跟多GPU的使用方式不太一样。（前提:使用huggingface.co去训练语言模型）在pytorch上使用多个GPU（在同一台设备上，并非分布式）进行训练是件非常容易的事情，只要在源代码中添加（修改）两行代码即可。下面贴上官方教程给的示例代码。并在文末总结一些自己在使用多GPU实验时发现的问题。官方tutorial——单GPU 把模型放在GPU上: device = torch.device("cuda:0"

pytorch nn.DataParallel指定多GPU运行

qq_42629399的博客

11-17

704

有两种方法可以指定gpu数目运行，第一种进入ubuntu虚拟环境后在终端使用EXPORT CUDA_VISIBLE_DEVICES=[你想要训练的GPU序号]，可以通过nvidia-smi来查看空闲的GPU序号，同时如果batch_size设置过大，会导致发生cuda out of memory的报错，这个时候通过新建一个窗口输入watch -n 5 nvidia-smi，即每隔5s刷新GPU使用状态，来观察是否有被调用GPU的行为发生，另一种方法即是在程序中模型加载前使用import os os.env

pytorch多gpu并行训练

drzeno的博客

10-19

1499

pytorch多gpu并行训练 link-web 转自：pytorch多gpu并行训练 - 知乎目录（目录不可点击）说明 1.和DataParallel的区别 2.如何启动程序的时候 2.1 单机多卡 2.2 多机多卡 2.3 代码里面的修改 2.4 简单的伪代码示例： 3.batch size的设置 pytorch多gpu并行训练 1.单机多卡并行训练 1.1.torch.nn.DataParallel 1.2.如何平衡DataPara

pytorch调用不了多个gpu_pytorch设置多GPU运行的方法

weixin_35060251的博客

01-14

796

1.DataParallel layers (multi-GPU, distributed)1)DataParallelCLASS torch.nn.DataParallel(module, device_ids=None, output_device=None, dim=0)实现模块级别的数据并行该容器是通过在batch维度上将输入分到指定的device中来在给定的module应用上实现并行。在...

pytorch-gpu

07-28

如果你想在Anaconda环境中安装pytorch-gpu，你可以按照以下步骤进行操作。首先，打开Anaconda Prompt。然后，创建一个名为pytorch_gpu的虚拟环境，可以使用以下命令：conda create -n pytorch_gpu python=3.7。接下来，激活pytorch_gpu环境，可以使用命令conda activate pytorch_gpu。进入环境后，你可以使用pip命令下载适合你的pytorch版本。如果你选择的是CUDA10.2版本，可以使用以下命令：pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple torch===1.6.0 torchvision===0.7.0 -f https://download.pytorch.org/whl/torch_stable.html。如果你选择的是CUDA10.1版本，可以使用以下命令：pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple torch==1.6.0 torchvision==0.7.0 -f https://download.pytorch.org/whl/torch_stable.html。\[1\]\[3\] 如果你想测试pytorch-gpu是否安装成功，你可以按照以下步骤进行操作。首先进入你刚刚创建的虚拟环境，使用命令conda activate pytorch_gpu。然后输入python命令进入python环境。接下来，输入以下命令进行测试： import torch print(torch.__version__) print(torch.cuda.is_available()) # cuda是否可用 torch.cuda.device_count() # 返回GPU的数量 torch.cuda.get_device_name(0) # 返回gpu名字，设备索引默认从0开始\[2\] #### 引用[.reference_title] - *1* *2* *3* [pytorch GPU版本安装](https://blog.csdn.net/weixin_42838061/article/details/113107234)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]