[ncclUnhandledCudaError] unhandled cuda error, NCCL version xx.x.x

最新推荐文章于 2024-06-15 19:16:18 发布
最新推荐文章于 2024-06-15 19:16:18 发布
阅读量5.5k 收藏 6
点赞数 3
分类专栏： torch 分布式训练 文章标签： NCCL错误 CUDA 分布式训练 GPU PyTorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43573112/article/details/126366972
版权

[ncclUnhandledCudaError] unhandled cuda error, NCCL version xx.x.x

文章目录

问题描述

分布式训练的时候遇到问题

RuntimeError: NCCL error in: ../torch/csrc/distributed/c10d/ProcessGroupNCCL.cpp:47, unhandled cuda error, NCCL version 21.0.3
ncclUnhandledCudaError: Call to CUDA function failed.

具体错误如下所示：

在这里插入图片描述

尝试解决

  1. RuntimeError: NCCL error in: /pytorch/torch/lib/c10d/ProcessGroupNCCL.cpp:492, internal error, NCCL version 2.4.8
    torch 官方论坛中建议 进行 NCCL test ，检查是否已经安装NCCL
  2. RuntimeError: NCCL error in: …/torch/lib/c10d/ProcessGroupNCCL.cpp:859, invalid usage, NCCL version
    CSDN中说用了多个gpu，根据自己电脑配置修改下gpu个数即可

然而以上两种并没有解决问题。

问题解决

根据报错信息分析，分布式训练时在初始化的时候报错，并不是在训练的时候报错。因此，将问题定位到分布式训练初始化上。

输入一下命令，检查当前服务器的卡

nvidia-smi -L

发现第一张卡是3070

GPU 0: NVIDIA GeForce RTX 2080 Ti (UUID: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx)
GPU 1: NVIDIA GeForce RTX 3070 (UUID: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx)
GPU 2: NVIDIA GeForce RTX 2080 Ti (UUID: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx)
GPU 3: NVIDIA GeForce RTX 2080 Ti (UUID: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx)
GPU 4: NVIDIA GeForce RTX 2080 Ti (UUID: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx)
GPU 5: NVIDIA GeForce RTX 2080 Ti (UUID: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx)
GPU 6: NVIDIA GeForce RTX 2080 Ti (UUID: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx)
GPU 7: NVIDIA GeForce RTX 2080 Ti (UUID: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx)

于是，这里直接尝试使用2-7张卡进行训练。

正解！

且向长河问流水
关注
  • 3
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
GPU Bugs for Neural Network Training
snail_crawling的博客
11-28 1125
1. NCCL unhandled cuda error 问题： RuntimeError: NCCL error in: /opt/conda/conda-bld/pytorch_1565272271120/work/torch/lib/c10d/ProcessGroupNCCL.cpp:290, unhandled cuda error Traceback (most recent call...
ncclUnhandledCudaError: Call to CUDA function failed.
2301_78389786的博客
05-28 591
训练又报新的错误，ModuleNotFoundError: No module named 'fused_layer_norm_cuda'。在没有被选用训练的GPU上进行测试，发现可以正常训练模型。后来查看进程，发现训练所选用GPU进程太多。一开始，以为是cuda版本和NCCL版本不匹配导致的问题，升级cuda后问题仍然存在。怀疑是进程太多卡住了，运行下面指令后重新训练。在网上查询发现是apex的错误，卸载apex。
unhandled cuda error, NCCL version 2.7.8问题解决
最新发布
weixin_45828972的博客
06-15 430
设置环境变量来获取更详细的错误信息。框架进行分布式训练时，遇到NCLL相关错误。
what(): NCCL Error 1: unhandled cuda error解决方法
阿正的梦工坊
08-30 2250
torch，cudatoolkit和cuda驱动版本要适配
NCCL error in: /pytorch/torch/lib/c10d/ProcessGroupNCCL ,unhandled cuda error, NCCLversion 2.7.8
热门推荐
进一寸有一寸的欢喜
04-24 1万+
结论 pytorch 、cudatoolkit、cuda驱动的版本需一致 问题描述 使用多GPU训练 stylegan3 模型时： python train.py --outdir=training-runs --cfg=stylegan3-r \ --data=datastes/your_data.zip \ --cfg=stylegan3-r --gpus=4 --batch=32 --gamma=8 --kimg=1800 --snap=50 --tick=2 报错信息 torch.
NCCL报错
weixin_44935703的博客
10-17 976
可以添加环境变量显示log。
NCCL error in: ../torch/lib/c10d/ProcessGroupNCCL.cpp:825, unhandled system error, NCCL version 2.7.
简单记录生活、学习
07-04 1501
今天遇到一个错误，一直以为是配置有问题，其实好像是环境版本问题。
unhandled cuda error, NCCL version 2.10.3报错解决
a_145133的博客
05-08 2537
这个警告并不会导致代码运行中止，但是给了我启发，我觉得可能就是torch版本与cuda版本不匹配，自然与NCCL也不匹配，于是我删除了torch，使用pytorch官网提供的与本电脑匹配的安装命令行来安装，安装后果然问题解决。在运行这个模型时，我是直接使用require.txt来配置环境的，但是使用这个配置环境是比较死板的，并没有考虑到每个人的电脑本身的各项参数配置。分析：NCCL:一般来是是在配置cuda时就已经配置好了对应版本的NCCL了。之后根据pytorch官网给的命令安装pytorch即可。
解决 NCCL WARN Cuda failure ‘invalid device function‘ , unhandled cuda error, NCCL version 2.4.8
znsoft的专栏
08-15 2352
注意最后一行： enqueue.cc:197 NCCL WARN Cuda failure 'invalid device function'运行nvidia-smi 后得到的版本要和pytorch安装 时的版本一样，我的是： CUDA Version: 11.7。
esxui-offline-bundle-6.x-12086396.zip
08-01
【标题】"esxui-offline-bundle-6.x-12086396.zip" 是一个针对VMware ESXi 6.7.0的离线升级包，主要用于更新ESXi主机的用户界面（UI）组件。这个zip文件包含了升级过程中所需的多个组成部分。 【描述】"Cause: ...
node-v10.14.0-x64_Node.js_源码
10-04
5. 错误处理：合理使用 try-catch 语句，以及监听 unhandledRejection 和 process.on('exit') 事件，提高程序健壮性。 总的来说，Node.js v10.14.0 是一个稳定且功能强大的版本，适用于多种场景的开发，包括但不...
vert.x结合springboot开发mqtt服务，真实可用
10-18
本教程将探讨如何使用Vert.x和Spring Boot结合来开发一个真实的MQTT服务器。 首先，让我们了解一下Vert.x。Vert.x是一个用于构建反应式应用的Java平台，它提供了一种事件驱动、非阻塞I/O模型，使得开发者可以高效地...
System.Runtime.InteropServices.COMException的解决方法
10-30
完美解决“换另一台电脑上用VS2008继续开发web项目时出现“System.Runtime.InteropServices.COMException”，然后是加载不了项目。”
Microsoft.ReportViewer.WebForms, Version=10.0.0.0
01-10
sembly 'Microsoft.ReportViewer.WinForms, Version=10.0.0.0, Culture=neutral, PublicKeyToken=b03f5f7f11d50a3a' or one of its dependencies. 系统找不到指定的文件。 File name: 'Microsoft.ReportViewer....
mmcv NCCL 报错 mmcv/_ext.cpython-37m-x86_64-linux-gnu.so: undefined symbol, RuntimeError: NCCL error i
Hello Word!
01-12 1398
【代码】mmcv报错 mmcv/_ext.cpython-37m-x86_64-linux-gnu.so: undefined symbol。
NCCL 故障排除 一
s_sunnyy的博客
01-10 1万+
官方文档 http://docs.nvidia.com/deeplearning/sdk/nccl-developer-guide/index.html#troubleshooting ======================================================================== 5. Troubleshooting  NCCL 故障排
RuntimeError: NCCL error in: ../torch/lib/c10d/ProcessGroupNCCL.cpp:859, invalid usage, NCCL version
lingchuxiao的博客
05-25 1万+
Traceback (most recent call last): File "tools/train_net.py", line 209, in <module> launch( File "/home/e300/code/detectron2/detectron2/engine/launch.py", line 67, in launch mp.spawn( File "/home/e300/anaconda3/lib/python3.8/site-packag
RuntimeError: NCCL error in:torch/lib/c10d/ProcessGroupNCCL.cpp:514, invalid usage, NCCL version 踩坑
Alex.W.的机器学习之路
10-29 4469
运行pytorch分布式任务时，可能在执行dist.barrier()这条代码时会触发NCCL错误：RuntimeError: NCCL error in: ../torch/lib/c10d/ProcessGroupNCCL.cpp:514, invalid usage, NCCL version。
[亲测有效]（NCCL error using DDP and PyTorch 1.7）
weixin_38800498的博客
04-09 3106
文章目录问题描述解决方法tips 问题描述 在使用pytorch1.7.1进行DistributedDataParallel （DDP）分布式训练时遇见以下报错： RuntimeError: NCCL error in: /pytorch/torch/lib/c10d/ProcessGroupNCCL.cpp:784, invalid usage, NCCL version 2.7.8 出现这种错误的原因并不统一，百度谷歌都没有找到答案，调试整整一天才解决！！！气坏！！ 解决方法 在URL有很多人讨论这
terminate called after throwing an instance of 'std::runtime_error' what(): NCCL Error 1: unhandled cuda error
06-14
这个错误通常是由于NCCL库在使用CUDA时出错导致的。有几种可能的原因和解决方法： 1. 您使用的CUDA版本与NCCL库不兼容。请确保您使用的CUDA版本与NCCL库版本兼容。您可以在NCCL官方文档中找到CUDA和NCCL版本的兼容性列表。 2. 您的CUDA安装可能已损坏或未正确安装。您可以尝试重新安装CUDA以解决这个问题。 3. 您的GPU驱动程序可能已损坏或不兼容。您可以尝试更新或重新安装您的GPU驱动程序以解决这个问题。 4. 您的GPU可能存在硬件问题。这种情况下，您可能需要更换您的GPU。 如果以上方法都无法解决问题，建议您查看NCCL库的日志以获取更多详细信息，并尝试在NCCL支持论坛上寻求帮助。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值