torch.nn.DataParallel的多GPU训练导致OOM解决方法

最新推荐文章于 2024-06-10 00:44:25 发布
最新推荐文章于 2024-06-10 00:44:25 发布
阅读量904 收藏 1
点赞数
分类专栏： python 文章标签： pytorch 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bb8886/article/details/125303682
版权

torch.nn.DataParallel（）这个方式会每次调用GPU：0，如果0卡被占用就训练不起来了，导致RuntimeError: CUDA error: out of memory。

这时，我们需要指定显卡，即指定我们想要训练GPU的序号。在此提供两种指定GPU的方法：

首先输入 nvidia-smi查看GPU占用情况和空闲的GPU序号。本人服务器只有两张卡。若要指定在卡1跑，有如下几种方法。

方法一：cuda(‘cuda:1’)

这种方法就是将有cuda（）的地方全部里面指定卡，但是这样改的地方太多，要是再做变动就会很麻烦，而且貌似不可以指定两张卡。

方法二：os.environ[“CUDA_VISIBLE_DEVICES”] = ‘1’(如果指定多张卡，os.environ[“CUDA_VISIBLE_DEVICES”] = ‘1，2’)。

这种方法可以让程序只看到1卡和2卡，这时候机器就会认为1卡就是GPU：0。所以输出报错或者其他输出当前GPU是在GPU：0，但其实是跑在GPU：1上。

如果使用的是pycharm远程连接服务器，可以直接在pycharm中添加环境变量：路径为Run->Edit Configurations->Environment->Envirotment Variable中写入CUDA_VISIBLE_DEVICES=1，如下图所示。

 

bb8886
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Pytorch DDP原理及配置[最大限度提高GPU利用率]
爱在深秋
10-27 2207
pytorch在单机多卡，多机多卡之间已经做了进一步的优化，最早之前可以使用net = torch.nn.DataParallel(net.cuda(), device_ids=range(torch.cuda.device_count()))来使用多显卡加速运行，但是会受到python GIL锁的限制，导致对CPU的使用率不高，进而导致多显卡之间的协调不足，出现利用率较低的情况。为了解决这个微博替，需要将原来的代码进行说为的修改，使用DDP的方式提高多卡的利用率。
pytorch yolov3代码理解（3）
ruoruojiaojiao的博客
03-24 1848
3.解读evaluate部分 3.1 evaluate.py 首先从main()函数开始。 def main(): ''' logging.basicConfig打印日志时间，当前执行程序名以及日志信息。 加载各种参数。 ''' logging.basicConfig(level=logging.DEBUG, ...
PyTorch 101，Part4：内存管理以及使用多个GPU
oreo的博客
04-03 984
PyTorch 101，Part4：内存管理以及使用多个GPU 这篇文章涉及到PyTorch高级的GPU管理特征，包括如何为你的神经网络配置多个GPU，是否使用数据或者模型的并行计算。我们总结了调试内存错误的最佳实践。 这里是我们PyTorch 101系列的第四部分，在这篇文章中，我们将会涉及到多GPU的使用。 在这个部分我们将会涉及： 如何让你的网络使用多个GPU，使用数据...
pytorch 如何解决RuntimeError: CUDA out of memory
weixin_39326879的博客
05-15 6011
出现的原因 这个提醒的意思就是运行过程中所需的内存超过CUDA的内存 解决办法 1.最直接的解决办法是减小batch_size(常用),或者减小模型参数和输入大小(一般很少这样做); 2.如果测试过程遇到这种情况,加上 with torch.no_grad(): 内存就不会分配参数梯度的空间 3.如果在训练过程遇到这种情况,可以尝试在训练前先释放CUDA内存 nvidia-smi查看GPU使用率,如果使用率不高,就使用torch.cuda.empty_cache()释放内存 官网对于torch.cuda.e
【Pytorch】一文向您详细介绍 torch.nn.DataParallel() 的作用和用法
最新发布
创作高质量博文，分享知识，共同进步！
06-10 1932
🚀【PyTorch进阶】一文掌握torch.nn.DataParallel()的奥秘！💡 探索PyTorch中加速模型训练的利器——`torch.nn.DataParallel()`！从基本概念到实战应用，本文带你深入浅出地了解如何在多GPU上并行运行模型。🔬通过代码示例和深入解析，让你轻松掌握其用法和技巧。📚告别漫长的训练时间，提升深度学习效率！#PyTorch #DataParallel #多GPU训练 #深度学习加速 #模型并行化
全网最全RuntimeError: CUDA error: out of memory解决方法
热门推荐
qq_37668436的博客
11-19 5万+
第一种情况 如果这个报错后面跟了想要占用多少显存但是不够这样的字眼，如下： 解决办法就很简单了： 改小batchsize，batchsize砍半可以差不多省掉一半的显存 推理阶段加上with torch.no_grad()，这个可以将修饰的代码段不要梯度，可以省掉很多显存 改小input的shape，例如(224,224)->(112,112)这样可以省掉一半的显存 换小的网络结构 用多卡训练，torch可以用model = nn.DataParallel(model)启用多卡训练，终端用CUDA
已解决：RuntimeError: CUDA error: out of memory
hh5187的博客
09-26 2万+
1. 检查是否使用了合适版本的torch print(torch.__version__) # 1.9.1+cu111 print(torch.version.cuda) # 11.1 print(torch.backends.cudnn.version()) # 8005 print(torch.cuda.current_device()) # 0 print(torch.cuda.is_available()) # TRUE 2.检查是否显存不足，尝试修改训练的batch size，修
解决cuda out of memory
weixin_44630230的博客
03-30 5242
问题： pytorch默认使用第一块显卡 cuda o ,在运行bert代码时，因为长文本，我把padsize调到512。导致显存不足，会占用大量的显存。程序会反复报Runtime Error，cuda out of memory的错。 分析： 服务器有三块显卡0,1，2。为啥空间不足，原来pytorch在初始化的时候会默认在第0块显卡上进行，这就导致，在第0块显卡空闲内存不多时，反复报错 解决： 通过几行代码解决问题 开头添加： import os os.environ["CUDA_VIS
PyTorch里面的torch.nn.Parameter()详解
09-18
本文将深入探讨`torch.nn.Parameter()`的作用、使用方法以及它在构建神经网络模型时的重要性。 首先，`torch.nn.Parameter()`的主要功能是将一个普通的张量（Tensor）转化为可训练的参数。当一个张量通过`torch.nn....
python torch.utils.data.DataLoader使用方法
09-17
主要介绍了python torch.utils.data.DataLoader使用方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
Pythorch中torch.nn.LSTM()参数详解
04-27
Pythorch中torch.nn.LSTM()参数详解；Pythorch中torch.nn.LSTM()参数详解；Pythorch中torch.nn.LSTM()参数详解；Pythorch中torch.nn.LSTM()参数详解；Pythorch中torch.nn.LSTM()参数详解；Pythorch中torch.nn.LSTM()...
Pytorch中torch.nn的损失函数
12-21
一、torch.nn.BCELoss(weight=None, size_average=True) 二、nn.BCEWithLogitsLoss(weight=None, size_average=True) 三、torch.nn.MultiLabelSoftMarginLoss(weight=None, size_average=True) 四、总结 前言 最近...
揭秘内存暴涨：解决大模型分布式训练OOM纪实
爱奇艺技术产品团队
08-11 359
在现代深度学习开发中，我们通常依赖其他模块，像搭积木一样构建复杂的软件系统，这个过程往往快速且有效。然而，如何在遇到问题时迅速定位和解决问题，由于系统的复杂性和耦合性，一直困扰着深度学习系统设计和维护者。作为爱奇艺后端技术团队的一员，我们详细记录了一次解决深度学习训练内存相关问题的过程，希望为正努力解决棘手问题的同行提供一些启示。01 背景过去的一个季度中，我们一直在A100集群观察到随机的c...
torch.nn.DataParallel保存，单GPU加载
zhaosuyuan的博客
04-13 1758
@TOCtorch.nn.DataParallel保存，单GPU加载 model.load_state_dict[checkpoint] 1.torch.nn.DataParallel 保存，torch.nn.DataParallel加载 保存 torch.nn.DataParatllel(model).cuda() 含有mudule参数 torch.save(model.state_dict(), ‘demo.pth’) 加载 torch.nn.DataParatllel(model).cuda() c
CUDA ~ RuntimeError: CUDA Out of memory解决
whaosoft143ai的博客
05-30 1752
一些可以尝试的解决“RuntimeError: CUDA Out of memory”的方案。在这些选项中，如果你使用的是预训练模型，则最容易和最有可能解决问题的选项是第一个。 whaosoft aiot http://143ai.com 因此，如果你在不将梯度归零的情况下进行 2 个半批次的训练，它们的梯度回累积，最终得到以目标有效批次大小相同的梯度。在训练循环中，我们需要使用计数器根据小batchsize大小进行更新，一旦它达到预设的目标，那就是我们将梯度归零时。在那之前，他们只是通过loss.back
训练之中发生OOM的解决问题办法
小姑仔的博客
05-17 765
训练中发生OOM很有可能是一个批次对应的数据过长，导致一次GPU不能够完全地容纳地下 比如如下的情况： for token_ids,segment_ids in tqdm(self.sample(random)): #传入的数据在下面定义train_generator = data_generator(train_data, batch_size) batch_token_ids.append(token_ids) batch_segment_ids.append(segment_ids)
【总结】RuntimeError: CUDA out of memory 问题解决
踏归 的博客
01-06 2367
RuntimeError: CUDA error: out of memory解决
Pytorch显存充足出现CUDA error:out of memory错误
Hungry_Shell的博客
08-17 9370
Pytorch显存充足出现CUDA error:out of memory错误 Ref: https://www.cnblogs.com/jisongxie/p/10276742.html 报错内容 ![image.png](https://imgconvert.csdnimg.cn/aHR0cHM6Ly9jZG4ubmxhcmsuY29tL3l1cXVlLzAvMjAyMC9wbmcvNjAyMzUwLzE1OTc2NTM0ODcxMzktNDQ5N2JmZDItMzBhYi00NzMzLTg2ZD
编程速记(41)：PyTorch篇&Tensorflow篇-CUDA out of memory & 指定model/data运行GPU
weixin_38316806的博客
08-02 544
一、简述 场景简述：文件需要加载多个不同的模型同时运行从而导致cuda OOM，这些模型有的是用tf代码写的，有的是用PyTorch写的。 二、尝试过的失败方案 对于PyTorch而言，使用多GPU训练方案也许是一种可行的方案。 net = torch.nn.DataParallel(model, device_ids=[xxx]) 但是由于也涉及到tf的model，因此这样并不能解决问题，运行起来依旧会报CUDA oom。 三、解决方案 1.调小batch_size 可以尝试将batch_size直
torch.nn.dataparallel如何指定哪几个gpu训练
04-13
您好，我是 ChitGPT。关于您的问题，您可以使用以下方式指定要训练的 GPU： ```python import torch import torch.nn as nn import torch.optim as optim import torch.nn.functional as F from torch.nn.parallel import DistributedDataParallel as DDP def main(): # 将模型放到 GPU 上 device = torch.device("cuda") model = MyModel().to(device) # 定义要使用的 GPU gpus = [0, 1, 2, 3] # 初始化进程组 torch.distributed.init_process_group( backend="nccl", init_method="tcp://localhost:23456", world_size=len(gpus), rank=gpus.index(device.index) ) # 创建分布式数据平行模型 model = DDP(model, device_ids=[device.index]) # 定义数据集和数据加载器 train_dataset = MyDataset() train_loader = DataLoader(train_dataset, batch_size=32, shuffle=True) # 定义优化器和损失函数 optimizer = optim.Adam(model.parameters(), lr=1e-3) criterion = nn.CrossEntropyLoss() # 进行训练 for epoch in range(10): for data, target in train_loader: data, target = data.to(device), target.to(device) optimizer.zero_grad() output = model(data) loss = criterion(output, target) loss.backward() optimizer.step() ``` 具体来说，您可以使用 `torch.distributed.init_process_group` 函数初始化进程组，并指定要使用的 GPU。然后，您可以使用 `torch.nn.parallel.DistributedDataParallel` 类创建分布式数据平行模型，并指定在哪个 GPU 上运行。 希望能对您有所帮助。如果您有任何其他问题，欢迎与我继续交流。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值