使用pytorch的distributeddataparallel遇到GPU0显存不均衡

已于 2024-01-15 22:01:47 修改
阅读量354 收藏 7
点赞数 11
文章标签： pytorch 人工智能 python
于 2024-01-15 21:47:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42296251/article/details/135611838
版权

在使用distributeddataparallel跑分布式的时候，第一张显卡的内存占用明显高于另外三张显卡（四张显卡，batch size是16，每张卡4个batch），导致内存溢出。

解决方法：在使用torch.load加载预训练模型的时候，设置map_location=‘cpu’

ckpt=torch.load(pretrain_path,map_location='cpu')['model']

如果不生效，建议在初始化模型之前添加以下两行代码

    torch.cuda.set_device(cfg.local_rank)
    torch.cuda.empty_cache()
icewithzero
关注
  • 11
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
pytorch 单机多卡--DistributedDataParallel+混合精度--提高速度，减少内存占用
cloudless_sky的博客
08-17 1127
混合精度，并行单机多GPU并行
使用DataParallel和DistributedDataParallel的两种多GPU分布式训练方法包含加载单GPU和多GPU保存的预训练模型权重的迁移学习
leigm
09-15 509
使用DataParallel和DistributedDataParallel的两种多GPU分布式训练方法包含加载单GPU和多GPU保存的预训练模型权重的迁移学习
pytorch多gpu DataParallel 及梯度累加解决显存不平衡和显存不足问题
qq_44846512的博客
03-25 3926
  最近在做图像分类实验时，在4个gpu上使用pytorch的DataParallel 函数并行跑程序，批次为16时会报如下所示的错误：   RuntimeError: CUDA out of memory. Tried to allocate 858.00 MiB (GPU 3; 10.92 GiB total capacity; 10.10 GiB already allocated; 150.69 MiB free; 10.13 GiB reserved in total by PyTorch)   
DistributedDataParallel数据不均衡
最新发布
weixin_43870390的博客
10-20 443
在使用 DistributedDataParallel 进行数据并行训练时，每次反向传播都需要执行 all_reduce 操作以同步各个进程的梯度。all_reduce 需要进程组中的所有进程参与，如果某一个进程没有执行 all_reduce（一个进程的输入较其他进程少），那么其他进程将会挂起或出错（取决于后端，nccl 后端会挂起，gloo 后端会报错）。
关于pytorch使用torch.nn.parallel.DistributedDataParallel() 显卡分配不均匀
Freedom_sky_的博客
07-26 773
关于pytorch使用torch.nn.parallel.DistributedDataParallel() 显卡分配不均匀
Pytorch 高效使用GPU的操作
09-16
主要介绍了Pytorch 高效使用GPU的操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
pytorch使用指定GPU训练的实例
01-01
虽然pytorch提供了指定gpu的几种方式，但是使用不当的话会遇到out of memory的问题，主要是因为pytorch会在第0块gpu上初始化，并且会占用一定空间的显存。这种情况下，经常会出现指定的gpu明明是空闲的，但是因为第0...
Pytorch 多块GPU的使用详解
09-18
今天小编就为大家分享一篇Pytorch 多块GPU的使用详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
pytorch 使用单个GPU与多个GPU进行训练与测试的方法
09-18
今天小编就为大家分享一篇pytorch 使用单个GPU与多个GPU进行训练与测试的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
【分布式训练】多gpu训练出现负载不均衡，尝试DistributedDataParallel分布式训练
桐原因的博客
04-04 3394
某次训练深度学习模型时，使用*** roberta-large 模型作为基础模块，起初使用 DataParallel *** 的方式，进行单机多卡训练，卡数为2，每张卡显存为10G。 训练期间发现，无法使用较大的batch_size，batch_size最大为4。同时，训练时间增加到3个小时一个epoch，时间开销太大。 观察GPU利用显存率，0卡占用显存明显比1卡占用的要多，这也是*** DataParallel *** 这种模式的弊端。 *** DataParallel *** 数据传输过程包括： 1.
Balanced-DataParallel:这里是改进了pytorch的DataParallel，使用了平衡第一个GPU的显存使用量
03-21
平衡数据并行 这里是改进了pytorch的DataParallel，使用了平衡第一个GPU的显存使用量 本代码来自transformer-XL： : 代码不是本人写的，但是感觉很好用，就分享一下。 怎么使用： 这个BalancedDataParallel类使用起来和DataParallel类似，下面是一个示例代码： my_net = MyNet() my_net = BalancedDataParallel(gpu0_bsz // acc_grad, my_net, dim=0).cuda() 这里包含三个参数，第一个参数是第一个GPU要分配多大的batch_size，但是要注意，如果您使用了渐变累积，那么此处替换的是每次进行运算的实际batch_size大小。举个例子，比如你在3个GPU上面跑代码，但是一个GPU最大只能跑3条数据，但是因为0号GPU还要做一些数据的整合操作，于是0
使用DistributedDataParallel(DDP)时遇到额外进程导致GPU0显存不均衡的问题
weixin_43333043的博客
05-22 779
可以看出，载入模型时，先被载入到cpu然后移动到对应设备，这里对应设备指的是GPU0，而通过指定参数map_location，可以使用对应设备进行载入。，查看显存占用，发现GPU0占用相较于其他GPU更高，并且每一个进程都在GPU上有占用，当显存较为紧张时，可能导致爆显存。然而，通过解决方法1，并未能解决我的问题。通过google，最终找到了解决该问题的方式。pytorch在load模型时，通过查看pytorch官方文档可以发现，方法，在未指定map_location时，
pytorch中nn.DataParallel（多GPU并行计算）的原理
qq_41154003的博客
03-23 2531
DataParallel（）函数的作用就是将一个batchsize的输入数据均分到多个GPU上分别计算。 此处注意，batchsize要大于GPU个数才能划分。 torch.nn.DataParallel(module, device_ids=None, output_device=None, dim=0) 这个函数主要有三个参数： module：即模型，此处注意，虽然输入数据被均分到不同gpu上，但每个gpu上都要拷贝一份模型。 device_ids：即参与训练的gpu列表，例如三块卡， .
pytorch 多GPU训练总结（DataParallel的使用）
热门推荐
不忘初心不动摇
02-28 8万+
这里记录用pytorch 多GPU训练 踩过的许多坑 仅针对单服务器多gpu 数据并行 而不是 多机器分布式训练 一、官方思路包装模型 这是pytorch 官方的原理图 按照这个官方的原理图 修改应该参照 https://blog.csdn.net/qq_19598705/article/details/80396325 上文也用dataParallel 包装了optimize...
pytorch DataParallel 多GPU使用
genous110的博客
04-26 608
单GPU： import os os.environ["CUDA_VISIBLE_DEVICES"] = "0" 多GPU： device_ids = [0,1,2,3] model = model.cuda(device_ids[0]) model = nn.DataParallel(model, device_ids=device_ids) optimizer = optim.SGD(mo...
DataParallel 和 DistributedDataParallel 的区别和使用方法
Golden-sun的博客
04-12 8234
1.DataParallel DataParallel更易于使用（只需简单包装单GPU模型）。然而，由于它使用一个进程来计算模型权重，然后在每个批处理期间将分发到每个GPU，因此通信很快成为一个瓶颈，GPU利用率通常很低。 nn.DataParallel要求所有的GPU都在同一个节点上（不支持分布式），而且不能使用Apex进行混合精度训练。 https://zhuanlan.zhihu.com/p/113694038 1.DistributedDataParallel支持模型并行，而DataParallel
两行代码搞定Pytorch多GPU深度学习（DataParallel）
叫我咸鱼就好
03-29 1097
当单张显卡无法满足深度学习的训练要求时，可以尝试增加显卡数量。比如当我们想增加batch size，但单张显卡的显存不足时，就需要增加显卡。在Pytorch中调用多张显卡并没有多么麻烦，只需要修改以下部分： 允许显示哪些显卡，在代码开头加入：import os os.environ['CUDA_VISIBLE_DEVICES'] = "0, 1, 2, 3" # 调用四张显卡，显卡编号分别为为0...
解决pytorch中DataParallel后模型参数出现问题的方法
genous110的博客
03-10 1万+
pytorch中如果使用DataParallel，那么保存的模型key值前面会多处’modules.’，这样如果训练的时候使用的是多GPU，而测试的时候使用的是单GPU，模型载入就会出现问题。 一个解决方法是测试的时候强行DataParallel，但是有时候情况较为复杂，可以使用如下的方法： （参考来源：https://discuss.pytorch.org/t/solved-keyerror-u...
pytorch选择使用gpu
05-14
在 PyTorch 中使用 GPU 可以大大加速模型训练和推理的速度。要在 PyTorch 中使用 GPU，需要满足以下条件： 1. 安装 GPU 版本的 PyTorch。 2. 安装 GPU 驱动程序和 CUDA 工具包（如果使用 NVIDIA GPU）。 3. 将数据...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值