unhandled cuda error, NCCL version 2.10.3报错解决

已于 2023-05-08 21:21:30 修改
阅读量2.5k 收藏 1
点赞数 2
分类专栏： 报错解决记录 文章标签： pytorch 深度学习 python
于 2023-05-08 21:21:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a_145133/article/details/130567510
版权

报错代码：RuntimeErrorRuntimeError: : NCCL error in: ../torch/csrc/distributed/c10d/ProcessGroupNCCL.cpp:46, unhandled cuda error, NCCL version 2.10.3

分析：NCCL:一般来是是在配置cuda时就已经配置好了对应版本的NCCL了。

在运行这个模型时，我是直接使用require.txt来配置环境的，但是使用这个配置环境是比较死板的，并没有考虑到每个人的电脑本身的各项参数配置。

通过观察发现控制台前面已经表示环境中的torch与显卡版本和cuda不匹配可能不能发挥显卡最大性能。这个警告并不会导致代码运行中止，但是给了我启发，我觉得可能就是torch版本与cuda版本不匹配，自然与NCCL也不匹配，于是我删除了torch，使用pytorch官网提供的与本电脑匹配的安装命令行来安装，安装后果然问题解决。

删除torch：

pip uninstall torch torchvision torchaudio

之后根据pytorch官网给的命令安装pytorch即可

幸运的悦子
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
[ncclUnhandledCudaError] unhandled cuda error, NCCL version xx.x.x
qq_43573112的博客
08-16 5519
根据报错信息分析，分布式训练时在初始化的时候报错，并不是在训练的时候报错。因此，将问题定位到分布式训练初始化上。输入一下命令，检查当前服务器的卡。然而以上两种并没有解决问题。分布式训练的时候遇到问题。发现第一张卡是3070。于是，这里直接尝试使用。...
ncclUnhandledCudaError: Call to CUDA function failed.
2301_78389786的博客
05-28 591
训练又报新的错误，ModuleNotFoundError: No module named 'fused_layer_norm_cuda'。在没有被选用训练的GPU上进行测试，发现可以正常训练模型。后来查看进程，发现训练所选用GPU进程太多。一开始，以为是cuda版本和NCCL版本不匹配导致的问题，升级cuda后问题仍然存在。怀疑是进程太多卡住了，运行下面指令后重新训练。在网上查询发现是apex的错误，卸载apex。
unhandled cuda error, NCCL version 2.7.8问题解决
最新发布
weixin_45828972的博客
06-15 430
设置环境变量来获取更详细的错误信息。框架进行分布式训练时，遇到NCLL相关错误。
GPU Bugs for Neural Network Training
snail_crawling的博客
11-28 1125
1. NCCL unhandled cuda error 问题： RuntimeError: NCCL error in: /opt/conda/conda-bld/pytorch_1565272271120/work/torch/lib/c10d/ProcessGroupNCCL.cpp:290, unhandled cuda error Traceback (most recent call...
what(): NCCL Error 1: unhandled cuda error解决方法
阿正的梦工坊
08-30 2249
torch，cudatoolkit和cuda驱动版本要适配
ubuntu1604+nccl1.2.3+cuda8.0源码
01-04
NVIDIA多GPU加速工具nccl的源码，适用于Ubuntu16.04+cuda8.0环境，安装方式参照readme文件
OSError: (External) Nccl error, unhandled cuda error (at /paddle/paddle/fluid/platform/collective_
Learning from the mistakes
11-29 3331
最近使用Paddle运行多卡程序的时候，出现了下面的错误： Traceback (most recent call last): File "train_pairwise.py", line 238, in <module> do_train() File "train_pairwise.py", line 116, in do_train paddle.distributed.init_parallel_env() File "/root/anaconda3/lib
解决 NCCL WARN Cuda failure ‘invalid device function‘ , unhandled cuda error, NCCL version 2.4.8
znsoft的专栏
08-15 2352
注意最后一行： enqueue.cc:197 NCCL WARN Cuda failure 'invalid device function'运行nvidia-smi 后得到的版本要和pytorch安装 时的版本一样，我的是： CUDA Version: 11.7。
NCCL报错
weixin_44935703的博客
10-17 976
可以添加环境变量显示log。
关于Unhandled event loop exception No more handles的两种解决方案
09-19
在使用eclipse的时候，有时候会弹出一个方框，里面的内容是Unhandled event loop exception No more handles，当你点击OK的时候，又会出来一个方框，里面第一句话是 An SWT error has occurred，并且诱导你关闭...
node.js使用npm 安装插件时提示install Error: ENOENT报错的解决方法
01-02
在使用npm install安装扩展插件时，系统提示“npm install Error: ENOENT, stat ‘C:Users<用户名>AppDataRoamingnpm’”。 以前都是很顺利的安装过程，没出现这种情况。我这里的解决办法是直接创建上面提示的...
mocha-error-reporters:当错误具有一些有意义的额外信息时，mocha-error-reporters会将完整的错误对象作为JSON包含在测试报告中
03-29
当测试由于意外错误而失败时，mocha-error-reporters会将完整错误以JSON格式附加到测试报告中。 测试报告示例 1 passing (5ms) 1 failing 1) Test Example Test with error: Error: Pow! at Context.it (test/...
简单了解C++常见编程问题解决方案
01-19
问题1：Unhandled exception at 0x00007FFDB39AA839 in TesseractLACadd1.exe: Microsoft C++ exception: boost::filesystem::filesystem_error at memory location 0x000000EAFABFEED0. 解决方案：我只能说，这个的...
Node.js connect ECONNREFUSED错误解决办法
01-20
// Unhandled ‘error’ event ^ Error: connect ECONNREFUSED at errnoException (net.js:770:11) at Object.afterConnect [as oncomplete] (net.js:761:19) 最后在stackoverflow找到解决方案，这主要由于上一次...
NCCL error in: /pytorch/torch/lib/c10d/ProcessGroupNCCL ,unhandled cuda error, NCCLversion 2.7.8
热门推荐
进一寸有一寸的欢喜
04-24 1万+
结论 pytorch 、cudatoolkit、cuda驱动的版本需一致 问题描述 使用多GPU训练 stylegan3 模型时： python train.py --outdir=training-runs --cfg=stylegan3-r \ --data=datastes/your_data.zip \ --cfg=stylegan3-r --gpus=4 --batch=32 --gamma=8 --kimg=1800 --snap=50 --tick=2 报错信息 torch.
what(): NCCL Error 1: unhandled cuda error Aborted (core dumped)、RuntimeError: no valid convolution
weixin_44012667的博客
05-23 273
RuntimeError: NCCL Error 1: unhandled cuda error · Issue #11756 · pytorch/pytorch --- RuntimeError：NCCL 错误 1：未处理的 cuda 错误 · 问题 #11756 · pytorch/pytorch (github.com)仅使用一个GPU时有效。
terminate called after throwing an instance of ‘std::runtime_error‘ what(): NCCL Error 1: unhandled
weixin_44012667的博客
05-22 439
RuntimeError: NCCL Error 1: unhandled cuda error · Issue #11756 · pytorch/pytorch --- RuntimeError：NCCL 错误 1：未处理的 cuda 错误 · 问题 #11756 · pytorch/pytorch (github.com)
mmcv NCCL 报错 mmcv/_ext.cpython-37m-x86_64-linux-gnu.so: undefined symbol, RuntimeError: NCCL error i
Hello Word!
01-12 1398
【代码】mmcv报错 mmcv/_ext.cpython-37m-x86_64-linux-gnu.so: undefined symbol。
terminate called after throwing an instance of 'std::runtime_error' what(): NCCL Error 1: unhandled cuda error
06-14
这个错误通常是由于NCCL库在使用CUDA时出错导致的。有几种可能的原因和解决方法： 1. 您使用的CUDA版本与NCCL库不兼容。请确保您使用的CUDA版本与NCCL库版本兼容。您可以在NCCL官方文档中找到CUDA和NCCL版本的兼容性列表。 2. 您的CUDA安装可能已损坏或未正确安装。您可以尝试重新安装CUDA以解决这个问题。 3. 您的GPU驱动程序可能已损坏或不兼容。您可以尝试更新或重新安装您的GPU驱动程序以解决这个问题。 4. 您的GPU可能存在硬件问题。这种情况下，您可能需要更换您的GPU。 如果以上方法都无法解决问题，建议您查看NCCL库的日志以获取更多详细信息，并尝试在NCCL支持论坛上寻求帮助。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值