pytorch 使用dataparallel时不支持 nccl

最新推荐文章于 2024-05-11 16:12:51 发布
最新推荐文章于 2024-05-11 16:12:51 发布
阅读量2.8k 收藏 2
点赞数
分类专栏： 深度学习 Pytorch编译解决方案
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44438120/article/details/109696129
版权

问题出现在我将torch1.5.1升级到1.7.0时，使用分布式计算出现了不支持nccl，从而无法进行单机多卡计算。所以这提醒我们环境能用的情况下千万千万不要去更新(未更新之前我是可以使用分布式计算的。。。)。

  1. 扯远了，回归正题。当出现这个问题的时候我先将cuda10.1与对应的cudnn重新安装。然后重新跑程序发现还是不能进行分布式。
  1. 然后我将torch1.7.0退回1.5.1再跑，发现还是不能进行分布式，而且还出现了新问题：RuntimeError: CUDA out of memory. Tried to allocate 2.18 GiB (GPU 0; 15.92 GiB total capacity; 13.71 GiB already allocated; 1.25 GiB free; 13.74 GiB reserved in total by PyTorch) 是的你没看错就是显存爆炸问题。具体解决方案请见我另一篇博客显存爆炸解决方案
  1. 接下来重头戏来了我使用了终极绝招，卸载anaconda并卸载所有环境，然后重新安装所有的包，最后问题迎刃而解。哈哈。但是我不能肯定就是重装就是解决问题的关键所以我将解决问题的过程记录下来以防再遇见。

2020.11.20更新:此方案无效，后续跑程序时又出现不支持NCCL。具体原因未知，一会有一会没有，但是并不妨碍并行的正常使用。猜测可能时torch底层可能出现了问题。

深度瞎学
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
pytorch指定用多张显卡训练_Pytorch中多GPU训练指北
weixin_39639518的博客
12-19 3215
前言在数据越来越多的时代，随着模型规模参数的增多，以及数据量的不断提升，使用多GPU去训练是不可避免的事情。Pytorch在0.4.0及以后的版本中已经提供了多GPU训练的方式，本文简单讲解下使用Pytorch多GPU训练的方式以及一些注意的地方。这里我们谈论的是单主机多GPUs训练，与分布式训练不同，我们采用的主要Pytorch功能函数为DataParallel而不是DistributedPar...
pytorch is not compiled with NCCL supoort
weixin_43444314的博客
11-01 2975
真烦人
报错PyTorch is not compiled with NCCL support
weixin_44441944的博客
03-04 5404
报错：PyTorch is not compiled with NCCL support
nccl版本与pytorch不匹配
最新发布
jiangxinyi520的博客
05-11 252
遇到报错：RuntimeError: NCCL error in: /pytorch/torch/lib/c10d/../c10d/NCCLUtils.hpp:94, invalid argument, NCCL version 2.7.8。经查看，torch版本是10.2，nccl版本为2.4.2，而当前版本下所需的nccl为2.7.8。经搜索，nccl2.4.2匹配的torch版本为1.6.0，所以下载1.6.0版本的pytorch。经搜索，时nccl版本与pytorch版本不匹配导致。
配置torch、nccl环境遇到的问题
AprilNing的博客
06-22 7014
问题描述Tried loading libnccl.so.1 but got error /home/ninghongke/torch/install/share/lua/5.1/nccl/ffi.lua:192: libnccl.so.1: cannot open shared object file: No such file or directory Tried loading libncc
Pytorch错误：Torch not compiled with CUDA enabled
yz1019117968的博客
10-07 693
报错复现： Traceback (most recent call last): File "../train.py", line 388, in <module> main() File "../train.py", line 384, in main train(args) File "../train.py", line 378, in train trainer.train() File "../train.py", line 322, in tr
Pytorch运行“Torch not compiled with CUDA enabled”
小芊的博客
10-11 875
遇到了没有预训练模型的问题 model.load_state_dict(torch.load('pretrain_model_D2/D2_DenseNet121', map_location='cpu'), strict=False) #掉上面那句话之后出现了 AssertionError: Torch not compiled with CUDA enabled 解决办法：Pytorch使用CPU运行“Torch not compiled with CUDA enabled”_ssjdoudou
Balanced-DataParallel:这里是改进了pytorch的DataParallel，使用了平衡第一个GPU的显存使用量
03-21
平衡数据并行这里是改进了pytorch的DataParallel，使用了平衡第一个GPU的显存使用量本代码来自transformer-XL： : 代码不是本人写的，但是感觉很好用，就分享一下。怎么使用：这个BalancedDataParallel类使用起来和...
使用pytorch的dataload方式计算自己的图片数据集的均值和标准差
12-21
网上看到一个使用opencv读取图片然后计算数据集的均值和标准差的，但是那个读取图片后把图片的每个值append到一个列表，要是数据集大的话内存真的会爆掉的啊，所以借助网上另一个使用pytorch的数据读取方式来计算的...
解决Pytorch训练过程中loss不下降的问题
09-18
今天小编就为大家分享一篇解决Pytorch训练过程中loss不下降的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
关于pytorch处理类别不平衡的问题
12-23
当训练样本不均匀时，我们可以采用过采样、欠采样、数据增强等手段来避免过拟合。今天遇到一个3d点云数据集合，样本分布极不均匀，正例与负例相差4-5个数量级。数据增强效果就不会太好了，另外过采样也不太合适，...
ubuntu16.04安装+cuDNN+Matlab+python+Nccl+opencv+caffe+pytorch+tensflow深度学习软件教程
11-28
这文档属于ubuntu16.04桌面版安装CUDA+cuDNN+Matlab+python+Nccl+opencv+caffe+pytorch+tensflow1.8.docx；自己通过实践在服务器上安装没有问题，需要的朋友请下载，文档把遇到安装opencv+caffe报错信息做了一个汇总，方便大家解决问题
pytorch 多机多卡DDP训练遇到ncclSystemError: System call (socket, malloc, munmap, etc) failed错误解决办法
我是一个菜鸟，虚心学习的菜鸟。
08-17 4041
export NCCL_SOCKET_IFNAME=enp4s0，此处enp4s0为每台机器的网卡名字，使用ifconfig查看，要是出现多个网卡名字，找到那个右IP地址、网关和掩码的那个名字，直接在终端输入以下命令，方便查看NCCL日志。
一文掌握Ubuntu20.04深度学习环境搭建（显卡驱动、CUDA、CUDNN、NCCL、Pytorch、PaddlePaddle）
钱彬的博客
08-02 6780
，然后选择install，就好了。最后一步，配置环境变量在终端输入下面的命令打开文件。
PyTorch学习笔记
Florence_Janie的博客
01-10 644
关于Pytorch！ 原文网址见Pytorch是什么？关于Pytorch！ PyTorch是一个提供两个高级功能的python包： 具有强GPU加速度的张量计算（如numpy） 深层神经网络建立在基于磁带的自动调整系统上 PyTorch在细粒度级别是由以下组件组成的库： 包: 描述 torch: 像NumPy这样的Tensor图书馆，拥有强大的GP
PyTorch使用并行GPU处理数据
热门推荐
学习容易上瘾
03-16 3万+
【参考资料】http://blog.csdn.net/zzlyw/article/details/78769012 http://blog.csdn.net/daniaokuye/article/details/79133351 http://pytorch.org/docs/master/nn.html#dataparallel-lay...
pytorch 数据并行实验
qq_38375534的博客
08-18 2960
import torch from torchvision import datasets,transforms from torch.autograd import Variable import torchvision import time import torch.nn as nn import torch.nn.functional as F transform=transforms.C...
Pytorch+NCCL源码编译
Pretend的博客
02-07 2022
PyTorch 是一个开源的深度学习框架，而 NCCL是 NVIDIA 提供的用于高性能 GPU 群集通信的库。通过编译 PyTorch 和 NCCL 的源代码，可以自定义构建并优化 PyTorch 在 GPU 群集上的性能。 首先，需要安装构建 PyTorch 和 NCCL 所需的依赖项，例如 CUDA、cuDNN、Python 和其他相关的开发库。这些依赖项可能因操作系统和硬件配置而有所不同。 克隆 PyTorch 源代码，进入 PyTorch 源代码目录，指定编译时的特定选项，例如支持的硬件架构
Pytorch分布式训练DataParallel和DistributedDataParallel详解
欢迎光临啊噗不是阿婆主的酒馆
04-18 1万+
最近工作涉及到修改分布式训练代码，以前半懂非懂，这次改的时候漏了一些细节，带来不必要的麻烦，索性花点时间搞明白。 Pytorch 分布式训练主要有两种方式： torch.nn.DataParallel ==> 简称 DP torch.nn.parallel.DistributedDataParallel ==> 简称DDP 其中 DP 只用于单机多卡，DDP 可以用于单机多卡也可用于多...
pytorch 多任务 卡死 nccl memory corruption
07-16
### 回答1： PyTorch是一个非常流行的深度学习框架，支持多任务训练。然而，有时候在使用PyTorch进行多任务训练时会遇到卡死和NCCL内存损坏的问题。 卡死和NCCL内存损坏通常是由于内存管理问题引起的。在多任务训练过程中，每个任务都需要占用一定的内存资源。当这些任务同时执行，并且内存资源不足时，就可能导致卡死和NCCL内存损坏的问题。 要解决这个问题，可以尝试以下几种方法： 1. 减小批量大小：通过减小每个任务的批量大小，可以降低单个任务的内存占用，从而减少卡死和内存损坏的风险。但这也可能会影响模型的训练效果，需要根据具体情况进行权衡。 2. 减少并行度：如果使用了多个GPU并行训练多个任务，可以尝试减少并行度，例如减少使用的GPU数量。这样可以减少每个任务所需的内存资源，并降低卡死和内存损坏的概率。 3. 增加内存资源：如果硬件条件允许，可以尝试增加系统的内存资源。这样可以提供更多的内存给每个任务使用，减少卡死和内存损坏的可能性。 4. 优化模型和代码：还可以尝试对模型和代码进行优化，减少内存的占用。例如，可以使用更小的模型或者减少不必要的计算，以减少内存的使用量。 总之，卡死和NCCL内存损坏是PyTorch多任务训练中常见的问题，但可以通过减小批量大小、减少并行度、增加内存资源或优化模型和代码来解决。 ### 回答2： 在PyTorch中，多任务并行运行可能会遇到卡死和NCCL内存损坏的问题。这通常是因为多个任务同时访问同一GPU设备上的内存而导致的。 要解决该问题，可以考虑以下几点： 1. 使用多个GPU设备进行任务并行运行：将多个任务分配到不同的GPU设备上，以避免内存访问冲突。可以使用`torch.nn.DataParallel`或`torch.nn.parallel.DistributedDataParallel`来实现多GPU任务并行。 2. 减少模型的内存占用：可以采取多种措施来减少模型的内存占用。例如，可以减少模型的参数数量、减少卷积层或全连接层的尺寸，或者使用更轻量级的模型。 3. 减小每个任务的批量大小：在多任务并行运行中，每个任务的批量大小可能会导致内存占用过高。可以尝试减小每个任务的批量大小，以减少内存压力。 4. 检查GPU驱动和CUDA版本的兼容性：卡死和内存损坏问题有时也可能与GPU驱动和CUDA版本的兼容性有关。建议更新或降低驱动和CUDA版本，并确保它们与PyTorch版本兼容。 5. 优化模型和训练过程：进行模型和训练过程的优化也可能有助于解决问题。可以尝试使用更高效的模型结构、优化算法和超参数设置，以减少对GPU内存的需求。 总而言之，卡死和NCCL内存损坏问题通常是由于多任务并行运行中的内存访问冲突所导致的。通过合理分配任务到不同GPU、减少内存占用、调整批量大小、检查驱动和CUDA版本的兼容性，以及优化模型和训练过程，可以减少或解决该问题。 ### 回答3： PyTorch 是一个流行的深度学习框架，允许用户在GPU上进行高效的深度学习任务。多任务是指在一个模型中同时执行多个不同的任务。"卡死 nccl memory corruption" 是一个错误信息，指出发生了内存损坏和卡死。 造成这个错误的原因可能有多种，一些常见的原因包括以下几点： 1. GPU 内存不足：多任务执行时，每个任务需要分配一定的GPU内存。如果模型或数据量过大，可能导致内存不足，从而出现内存损坏和卡死现象。 2. 跨 GPU 通信问题：当多个 GPU 同时执行多个任务时，它们之间需要进行通信以共享参数和梯度。如果通信不正确，可能导致内存损坏和程序卡死。 解决这个问题的方法有以下几种： 1. 减小模型或数据规模：可以尝试减小深度学习模型的大小或缩小输入数据规模，以减少内存占用。 2. 使用更大的内存：如果内存不足，可以考虑升级GPU，使用具备更大内存容量的显卡。 3. 使用分布式训练：如果使用多个GPU进行多任务训练，可以尝试使用PyTorch的分布式训练功能，将任务分配到多个节点上，以减少单个GPU的内存占用。 4. 检查代码错误：检查代码中是否有内存管理、并行处理或通信方面的错误，例如确保正确使用PyTorch的GPU内存管理和通信函数、正确调用分布式训练 API 等。 总之，修复"卡死 nccl memory corruption"错误需要进一步调查具体原因，并根据原因采取相应的解决方法。这可能涉及调整模型或数据规模，升级硬件，使用分布式训练，或者检查代码中的错误。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值