DDP 训练 GPU 0 占用内存远大于其他卡问题的解决方式

最新推荐文章于 2024-04-28 09:36:30 发布
最新推荐文章于 2024-04-28 09:36:30 发布
阅读量344 收藏
点赞数
分类专栏： pytorch 文章标签： 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013565669/article/details/132093454
版权

现象：

如下图，在8张卡上开8个进程的同时在GPU0上开8个进程，导致GPU0的模型占用远高于其他卡。

 下面这个图是正常效果：

 

 

第一种解决方法：解决多卡加载预训练模型时，卡0总会比其他卡多占用显存，多卡占用显存不均_多卡训练为什么占的内存多_大圆规家的博客-CSDN博客

第二种解决方法：

build 模型之前加下面这行

torch.cuda.set_device(args.local_rank) 

来源：https://github.com/NVIDIA/apex/issues/200#issuecomment-472974604

BboyHanat
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ddp-redux:一组用于以声明方式构建DDP客户端的实用程序
05-15
ddp-redux是全新的ddp客户端，它将允许您以完全声明的方式从ddp服务器获取资源。 订阅/方法（查询）参数由选择器评估，您需要做的就是从redux存储中提取集合数据。 这种方法受到极大启发，但是在我们的案例中，DDP...
「分布式训练」+ DDP单机多卡并行指南
07-20
本课件包含对分布式训练及Pytorch两种主要的并行训练方式DP以及DDP的原理介绍， 以及使用 DDP 实现单机多卡并行方式的代码修改要点总结。
Resnet实战：单机多卡DDP方式、混合精度训练
04-15
本例提取了植物幼苗数据集中的部分数据做数据集，数据集共有12种类别，模型使用最经典的resnet50，演示如何实现混合精度训练以及如何使用DDP的方式实现多卡并行训练。 通过本文你和学到： 1、如何使用混合精度训练？ 2、如何制作ImageNet数据集？ 3、如何使用DDP方式的进行多卡训练？ 4、如何使用Mixup数据增强。 5、如何进行多卡BN同步？ 6、如何使用余弦退火调整学习率？ 7、如何使用classification_report实现对模型的评价。 8、预测的两种写法。 原文链接：https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/124196817
PyTorch 分布式训练DDP 单机多卡快速上手
weixin_44966641的博客
12-11 1万+
PyTorch 单机多卡快速上手 本文旨在帮助新人快速上手最有效的 PyTorch 单机多卡训练，对于 PyTorch 分布式训练的理论介绍、多方案对比，本文不做详细介绍，有兴趣的读者可参考： [分布式训练] 单机多卡的正确打开方式：理论基础 当代研究生应当掌握的并行训练方法（单机多卡） DP与DDP 我们知道 PyTorch 本身对于单机多卡提供了两种实现方式 DataParallel（DP）：Parameter Server模式，一张卡位reducer，实现也超级简单，一行代码。 Distribute
pytorch单精度、半精度、混合精度、单卡、多卡（DP / DDP）、FSDP、DeepSpeed模型训练
胖胖大海的博客
11-17 2495
pytorch单精度、半精度、混合精度、单卡、多卡（DP / DDP）、FSDP、DeepSpeed（环境没搞起来）模型训练代码，并对比不同方法的训练速度以及GPU内存的使用
pytorch多GPU分布式训练（DDP），cuda0 out of memory，cuda0减少batch_size的注意事项。
m0_37833297的博客
12-11 4070
当我们使用distributedDataParallel（DDP）进行分布式训练的时候，假设单卡训练时，一张卡一个batch能装4张图片，并且占得比较满。而多卡训练时，由于cuda0除了要进行前向传播等还得负责通信，cuda0的空间就不够大了。 这时，我们可以选择减少cuda0上的batch_size大小，比如改为1. 假如我们有8张卡，设置的总的batch_size = 32，原始设置的每张卡batch_size=4。 以github上这个文件为例 截取需要改的一段： parser.add_argumen
解决ddp多卡训练GPU:0显存占用比其他卡大的问题
weixin_56759664的博客
07-25 466
2.将下面代码放在训练代码前，确保在进行分布式训练时，每个进程在初始化时都设置了正确的CUDA设备，并清除了CUDA缓存。
使用DistributedDataParallel(DDP)时遇到额外进程导致GPU0显存不均衡的问题
weixin_43333043的博客
05-22 701
可以看出，载入模型时，先被载入到cpu然后移动到对应设备，这里对应设备指的是GPU0，而通过指定参数map_location，可以使用对应设备进行载入。，查看显存占用，发现GPU0占用相较于其他GPU更高，并且每一个进程都在GPU上有占用，当显存较为紧张时，可能导致爆显存。然而，通过解决方法1，并未能解决我的问题。通过google，最终找到了解决该问题的方式。pytorch在load模型时，通过查看pytorch官方文档可以发现，方法，在未指定map_location时，
Pytorch使用DDP加载模型时出现多进程在GPU0上占用过多显存的问题
cax1165
07-19 5255
Pytorch使用DDP加载模型时出现多进程在GPU0上占用过多显存的问题，此问题可能导致GOU0在训练过程中爆显存。
关于pytorch 使用DDP模式（torch.nn.parallel.DistributedDataParallel）时，DistributedSampler(dataset)用法解释
热门推荐
so
05-16 1万+
最近由于要用到多卡去训模型，尝试着用DDP模式，而不是DP模式去加速训练（很容易出现负载不均衡的情况）。遇到了一点关于DistributedSampler这个采样器的一点疑惑，想试验下在DDP模式下，使用这个采样器和不使用这个采样器有什么区别。 实验代码： 整个数据集大小为8,batch_size 为4，总共跑2个epoch import torch import torch.nn as nn from torch.utils.data import Dataset, DataLoader from
【DDP踩坑记录】在0卡上出现多个进程
Ll7_ll的博客
09-27 164
pytorch ddp 踩坑记录
解决多卡加载预训练模型时，卡0总会比其他卡多占用显存，多卡占用显存不均
mumuximmmmmm的博客
09-07 2068
多卡训练卡0占用显存多，卡0占用显存多余其他卡
「分布式训练」+ DDP单机多卡并行指南 PPT
04-10
「分布式训练」+ DDP单机多卡并行指南
DDP服务器React式：用于流星的DDP服务器
02-05
具有React式收集的DDP服务器DDP-Server-Reactive是基于nodejs的DDP服务器。用法// Create a server listening on the default port 3000var server = new DDPServer();// Create a reactive collection// All the ...
Perfectly Clear Workbench for mac/win：让图像清晰不再是难题
2401_82627223的博客
04-27 406
Perfectly Clear Workbench是一款功能强大、操作简便的图像清晰处理软件。它不仅能够满足专业摄影师的高标准需求，也能让业余爱好者轻松提升作品质量。
【炼金术士】BatchSize对网络训练的影响
kabuto_hui的博客
04-25 1389
首先我们设置一个非常小的初始学习率，比如1e-5，然后在每个batch之后都更新网络，同时增加学习率，统计每个batch计算出的loss。最后我们可以描绘出学习的变化曲线和loss的变化曲线，从中就能够发现最好的学习率。针对BatchSize越大，网络训练速度快这条很好理解，在相同的单位时间内，一次训练的数据越多，网络训练的速度也就越快。初始的学习率肯定是有一个最优值的，过大则导致模型不收敛，过小则导致模型收敛特别慢或者无法学习，下图展示了不同大小的学习率下模型收敛情况的可能性。
神经网络中多层卷积的作用
金石软件
04-27 444
在神经网络中采用多层卷积的目的是为了逐步提取和组合图像的抽象特征，从而更有效地学习数据的表示并执行复杂的任务。不同层的卷积具有不同的作用，从较低层次的特征（例如边缘、纹理）到较高层次的抽象特征（例如物体部件、整体物体）逐渐提取。通过多层卷积，网络能够从原始图像中逐步学习并提取更加抽象和语义丰富的特征，从而实现对输入数据更准确和有效的建模和处理。
铝型材表面瑕疵识别-Are you OK?队-1-解决方案
最新发布
gangyikeji的博客
04-28 1115
本次大赛分为初赛、复赛和决赛三个阶段（9月17日-11月22日），初赛是分类任务，复赛是检测任务，决赛是现场答辩。经过2个多月的算法角逐和决赛答辩，我们团队（Are you OK?这里着重介绍下复赛的答辩方案，对初赛感兴趣的同学可以参照我们的开源代码。[初赛开源代码1](https://github.com/herbert-chen/tianchi_lvcai)[初赛开源代码2](https://github.com/OdingdongO/pytorch_classification)
linux 编译opencv遇到问题
123
04-26 716
linux 编译opencv遇到问题
DDP 分布式训练过程中卡住没有报错怎么办
04-01
如果 DDP 分布式训练过程中卡住没有报错，可能出现以下情况： 1. 数据加载器出现问题：检查数据加载器是否正确设置，数据是否能够被正确加载。 2. 网络连接问题：检查网络是否正常连接，特别是分布式环境下的网络...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值