RuntimeError: NCCL error in: /pytorch/torch/lib/c10d/ProcessGroupNCCL.cpp:784, unhandled system erro

最新推荐文章于 2024-05-28 21:56:36 发布
最新推荐文章于 2024-05-28 21:56:36 发布
阅读量1.9w 收藏 6
点赞数 8
分类专栏： 代码问题
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44790486/article/details/113932862
版权

在这里插入图片描述刚刚调程序报了一堆错误，其实挺简单的，看着网上的回复都不符合我这个代码错误的需求，其实就是你写的.sh文件里面，用多个gpu代码，出现了中文符号
在这里插入图片描述

taxuewuhenxiaoer
关注
  • 8
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
mmcv NCCL 报错 mmcv/_ext.cpython-37m-x86_64-linux-gnu.so: undefined symbol, RuntimeError: NCCL error i
Hello Word!
01-12 1391
【代码】mmcv报错 mmcv/_ext.cpython-37m-x86_64-linux-gnu.so: undefined symbol。
RuntimeError: NCCL error in: ../torch/lib/c10d/ProcessGroupNCCL.cpp:859, invalid usage, NCCL version
lingchuxiao的博客
05-25 1万+
Traceback (most recent call last): File "tools/train_net.py", line 209, in <module> launch( File "/home/e300/code/detectron2/detectron2/engine/launch.py", line 67, in launch mp.spawn( File "/home/e300/anaconda3/lib/python3.8/site-packag
NCCL error in: /pytorch/torch/lib/c10d/ProcessGroupNCCL ,unhandled cuda error, NCCLversion 2.7.8
热门推荐
进一寸有一寸的欢喜
04-24 1万+
结论 pytorch 、cudatoolkit、cuda驱动的版本需一致 问题描述 使用多GPU训练 stylegan3 模型时： python train.py --outdir=training-runs --cfg=stylegan3-r \ --data=datastes/your_data.zip \ --cfg=stylegan3-r --gpus=4 --batch=32 --gamma=8 --kimg=1800 --snap=50 --tick=2 报错信息 torch.
ncclUnhandledCudaError: Call to CUDA function failed.
最新发布
2301_78389786的博客
05-28 583
训练又报新的错误，ModuleNotFoundError: No module named 'fused_layer_norm_cuda'。在没有被选用训练的GPU上进行测试，发现可以正常训练模型。后来查看进程，发现训练所选用GPU进程太多。一开始，以为是cuda版本和NCCL版本不匹配导致的问题，升级cuda后问题仍然存在。怀疑是进程太多卡住了，运行下面指令后重新训练。在网上查询发现是apex的错误，卸载apex。
RuntimeError: NCCL error in: /pytorch/torch/lib/c10d/ProcessGroupNCCL.cpp:784 torch
qq_40630902的博客
07-20 7620
-- Process 6 terminated with the following error: Traceback (most recent call last): File "/media/home/intern/anaconda3/envs/torch17/lib/python3.7/site-packages/torch/multiprocessing/spawn.py", line 19, in _wrap fn(i, *args) File "/media/home/inter
RuntimeError: NCCL error in:torch/lib/c10d/ProcessGroupNCCL.cpp:514, invalid usage, NCCL version 踩坑
Alex.W.的机器学习之路
10-29 4452
运行pytorch分布式任务时，可能在执行dist.barrier()这条代码时会触发NCCL错误：RuntimeError: NCCL error in: ../torch/lib/c10d/ProcessGroupNCCL.cpp:514, invalid usage, NCCL version。
RuntimeError: NCCL error in: /opt/ conda/ conda-bld/pytorch 1607370117127/work/ torch/lib/c10d/Proce
m0_49423868的博客
04-10 9654
NCCL错误
Python RuntimeError: thread.__init__() not called解决方法
09-22
然而，在使用`threading.Thread`进行多线程编程时，可能会遇到`RuntimeError: thread.__init__() not called`这样的错误。这个错误通常意味着你没有正确地初始化`threading.Thread`的实例。 在标题和描述中提到的...
linux或windows环境下pytorch的安装与检查验证(解决runtimeerror问题)
01-10
1、pytorch官网下载对应安装文件 https://pytorch.org/ 在getstarted处选择对应版本 方法一：直接使用对应的安装指令进行安装 但是其实这样比较容易断或者出现runtimeout的error。解决办法：使用pip先进行源的查找，...
Laravel访问出错提示：`Warning: require(/vendor/autoload.php): failed to open stream: No such file or di解决方法
01-21
本文实例讲述了Laravel框架访问...`Warning: require(/http/www.mywakavLee.cn/bootstrap/../vendor/autoload.php): failed to open stream: No such file or directory in /http/www.mywakavLee.cn/bootstrap/autolo
RuntimeError: NCCL error in: /opt/conda/conda-bld/pytorch_1556653215914/work/torch/lib/c10d/ProcessG
Rlin_by的博客
06-11 5674
pytorch dist 分布式训练会遇见的问题 RuntimeError: NCCL error in: /opt/conda/conda-bld/pytorch_1556653215914/work/torch/lib/c10d/ProcessGroupNCCL.cpp:272, unhandled system error
nccl版本与pytorch不匹配
jiangxinyi520的博客
05-11 546
遇到报错：RuntimeError: NCCL error in: /pytorch/torch/lib/c10d/../c10d/NCCLUtils.hpp:94, invalid argument, NCCL version 2.7.8。经查看，torch版本是10.2，nccl版本为2.4.2，而当前版本下所需的nccl为2.7.8。经搜索，nccl2.4.2匹配的torch版本为1.6.0，所以下载1.6.0版本的pytorch。经搜索，时nccl版本与pytorch版本不匹配导致。
[ncclUnhandledCudaError] unhandled cuda error, NCCL version xx.x.x
qq_43573112的博客
08-16 5506
根据报错信息分析，分布式训练时在初始化的时候报错，并不是在训练的时候报错。因此，将问题定位到分布式训练初始化上。输入一下命令，检查当前服务器的卡。然而以上两种并没有解决问题。分布式训练的时候遇到问题。发现第一张卡是3070。于是，这里直接尝试使用。...
RuntimeError: NCCL Error 2: unhandled system error
qq_42548340的博客
12-12 4866
跑yolov5代码时报错 根据错误提醒找到NCCL位置 于是才反应过来是调用GPU的问题，于是改为单GPU训练 于是就可以完美运行。
RuntimeError: NCCL error in：XXX，unhandled system error, NCCL version 2.7.8
小李的研究生学习日记
10-03 9850
分布式训练中遇到这个问题，RuntimeError: NCCL error in：XXX，unhandled system error, NCCL version 2.7.8
RuntimeError: ProcessGroupNCCL is only supported with GPUs, no GPUs found
xu823508091的博客
01-06 1万+
bug解决
WSL2，NCCL报错RuntimeError: NCCL Error 2: unhandled system error
cascgu的博客
11-03 7497
在WSL2上使用pytorch1.7.1，无法进行多显卡分布式训练，提示“RuntimeError: NCCL Error 2: unhandled system error”，一直不知道什么意思，后来上网搜索，发现可以打印nccl的日志 （链接） ，以获得更为详细的出错提示。随即在环境变量里添加了 export NCCL_DEBUG=info export NCCL_SOCKET_IFNAME=eth0 export NCCL_IB_DISABLE=1 再次训练，这次打印出了更为详细的错误信息。如下
RuntimeError: NCCL error in: /pytorch/torch/lib/c10d/ProcessGroupNCCL.cpp:784, invalid usage, NCCL version 2.7.8
07-15
这个错误提示是由于在使用NCCL库时出现了无效的使用方式导致的。具体来说，它指出在文件"ProcessGroupNCCL.cpp"的第784行发生了错误。错误信息还提到了NCCL的版本号为2.7.8。 要解决这个问题，您可以尝试以下几个步骤： 1. 确保您所使用的NCCL版本与您的代码和环境兼容。如果可能的话，尝试升级NCCL到最新版本，或者降级到与您的代码兼容的旧版本。 2. 检查您的代码中是否存在使用NCCL的错误用法。特别是，请检查与进程组相关的代码，确保没有使用无效的NCCL函数或参数。 3. 确保您的系统中已正确安装了NCCL库。您可以查看NCCL的官方文档以获得正确的安装和配置指南。 4. 如果您使用的是分布式训练框架，例如PyTorch的DistributedDataParallel，尝试将其配置为使用其他的分布式后端，如Gloo或MPI，以查看是否可以避免此错误。 如果以上步骤都没有解决问题，您可能需要查看更详细的错误日志或与相关开发者或社区寻求帮助，以便更好地理解和解决该问题。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值