Pytorch报错解决——（亲测有效）RuntimeError: Distributed package doesn‘t have NCCL built in

最新推荐文章于 2024-08-18 15:36:18 发布
最新推荐文章于 2024-08-18 15:36:18 发布
阅读量1.6w 收藏 43
点赞数 42
分类专栏： # Pytorch Error 文章标签： pytorch 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_61787307/article/details/129638108
版权
在运行SLADD模型时遇到NCCL不支持的错误，通过在代码中引入os库并设置环境变量为GLOO，以及将dist.init_process_group的backend从NCCL改为GLOO，成功解决了该问题。然而，这之后还出现了其他报错，作者打算继续排查并分享解决方案。
摘要由CSDN通过智能技术生成

在我跑SLADD模型的时候，出现了如下报错：
在这里插入图片描述
上网搜寻一番后，发现了解决方法
第一步：在本文件的开头机上这样两行代码：

import os
os.environ["PL_TORCH_DISTRIBUTED_BACKEND"] = "gloo"

第二步：在本文件代码中找到这样一部分代码：
在这里插入图片描述
把dist.init_process_group(backend='nccl', init_method='env://', world_size=args.world_size, rank=rank)这一行中的nccl换成gloo
若要解释原因就是windows系统不支持NCCL，只能换用GLOO

亲测这个报错就没了，然而接下来还有好多别的报错…我继续去解决了，解决完再分享别的~

康康好老啊
关注
专栏目录
成功解决Distributed package doesn‘t have NCCL “ “built in
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
06-01 2292
​ 成功解决Distributed package doesn't have NCCL " "built in 目录 解决问题 解决思路 解决方法 解决问题 Distributed package doesn't have NCCL " "built in 解决思路 当前环境中没有内置NCCL支持,无法初始化NCCL进程组 解决方法 使用PyTorch分布式训练尝试使用torch.distributed.init_process_group("nccl")初始化NCCL进程组失败，
Distributed package doesn‘t have NCCL built in
jacke121的专栏
05-08 1万+
Distributed package doesn't have NCCL built in 问题描述： python在windows环境下dist.init_process_group(backend, rank, world_size)处报错‘RuntimeError: Distributed package doesn’t have NCCL built in’，具体信息如下： File "D:\Software\Anaconda\Anaconda3\envs\segmenter\lib\.
关于RuntimeError: Distributed package doesn‘t have NCCL built in
最新发布
狂小虎/Anthony Dave的博客 KuangXiaoHu's Blogs
08-18 296
这个问题小虎在windows系统运行ddp程序时遇到，解决方法是把nccl换成gloo。
【解决】报错：RuntimeError: Distributed package doesn‘t have NCCL built in
qq_39635835的博客
07-06 682
定位到文件：E:\ProgramData\anaconda3\envs\pytorch_envs\lib\site-packages\torch\distributed\distributed_c10d.py。原因：windows系统不支持nccl，采用gloo；
【解决】RuntimeError: Distributed package doesn‘t have NCCL built in
Paul_Huang的专栏
11-17 8998
RuntimeError: Distributed package doesn't have NCCL built in
RuntimeError: Distributed package doesn‘t have NCCL built in
weixin_43940981的博客
10-20 1万+
Improved Diffusion 复现之 NCCL报错
【报错解决】RuntimeError: Distributed package doesn‘t have NCCL built in
qq_43426908的博客
04-15 1597
windows系统不支持nccl，采用gloo；
Windows RuntimeError: Distributed package doesn‘t have NCCL built in问题
热门推荐
StarCap的博客
09-02 1万+
问题描述： python在windows环境下dist.init_process_group(backend, rank, world_size)处报错‘RuntimeError: Distributed package doesn’t have NCCL built in’，具体信息如下： File "D:\Software\Anaconda\Anaconda3\envs\segmenter\lib\site-packages\torch\distributed\distributed_c10d.py
使用MMdetecion时出现RuntimeError: Distributed package doesn’t have NCCL
weixin_41653613的博客
02-28 540
使用MMdetecion时出现RuntimeError: Distributed package doesn’t have NCCL
讲解Distributed package doesn‘t have NCCL built in
牛肉胡辣汤
12-24 3327
在使用PyTorch进行分布式训练时，如果你遇到了"Distributed package doesn't have NCCL built-in"错误，这可能是由于系统缺少NCCL库的原因。通过按照上述步骤安装和配置NCCL，以及重新编译PyTorch，你可以解决这个错误，并顺利运行分布式训练代码。在分布式训练中使用NCCL能够提供高效的数据并行计算和参数更新，从而加速训练过程。
raise RuntimeError(“Distributed package doesn‘t have NCCL “ “built in“) RuntimeError: Distributed pa
lanmy_dl的博客
10-02 4399
百度出来都是window报错，说：在dist.init_process_group语句之前添加backend=‘gloo’，也就是在windows中使用GLOO替代NCCL。好家伙，可是我是linux服务器上啊。代码是对的，我开始怀疑是pytorch版本的原因。最后还是给找到了,果然是pytorch版本原因，接着>>>import torch。复现stylegan3的时候报错。控制台输入>>>python。报错代码是这里的nccl。
解决Pytorch 训练与测试时爆显存(out of memory)的问题
09-18
在使用PyTorch进行深度学习模型的训练和测试过程中，可能会遇到“显存溢出”（Out of Memory，OOM）的问题。这个问题通常是由于GPU内存不足以存储所有计算所需的张量而导致的。以下是一些解决PyTorch训练与测试时...
RuntimeError: NCCL error in：XXX，unhandled system error, NCCL version 2.7.8
weixin_51736742的博客
08-30 1万+
1.问题 pytorch 分布式训练中遇到这个问题， 2.原因 大概是没有启动并行运算？？？（有懂得大神请指教） 3.解决方案 （1）首先看一下服务器GPU相关信息 进入pytorch终端（Terminal） 输入代码查看 python torch.cuda.is_available()#查看cuda是否可用； torch.cuda.device_count()#查看gpu数量； torch.cuda.get_device_name(0)#查看gpu名字，设备索引默认从0开始； torch.cuda.cu
mmcv NCCL 报错 mmcv/_ext.cpython-37m-x86_64-linux-gnu.so: undefined symbol, RuntimeError: NCCL error i
Hello Word!
01-12 1579
【代码】mmcv报错 mmcv/_ext.cpython-37m-x86_64-linux-gnu.so: undefined symbol。
已解决RuntimeError: Distributed package doesn‘t have NCCL built in
qq_52381360的博客
03-17 3052
已解决RuntimeError: Distributed package doesn‘t have NCCL built in
运行mmdetection的benchmark.py报错：RuntimeError: Distributed package doesn‘t have NCCL built in
weixin_45679938的博客
12-30 2703
**起因：**利用mmdetection的tools/benchmark.py计算FPS时报错。 错误内容如下： Traceback (most recent call last): File "tools/analysis_tools/benchmark.py", line 191, in <module> main() File "tools/analysis_tools/benchmark.py", line 183, in main init_dist(args.
pytorchlighting报错：raise RuntimeError(“Distributed package doesn‘t have NCCL “RuntimeError: Distribu
Frank-Li的博客
06-16 6046
1、该问题的主要原因是windows环境不支持NCCL，所以最好不要使用ddp ##源代码： trainer = Trainer(gpus=[0],distributed_backend="ddp") ##修改后的代码： trainer = Trainer(gpus=[0]) anz
Pytorch解决LSTM前向传播时报错：RuntimeError: input must have 3 dimensions, got 2
05-27
这个错误通常是因为输入的数据维度不正确导致的。LSTM模型的输入需要是一个三维的张量，包含(batch_size, sequence_length, input_size)三个维度。而你输入的数据只有两个维度，所以会报错。 解决方法是将输入数据的维度进行扩展，增加一个维度来表示batch_size。具体代码如下： ``` import torch # 假设你的输入数据为input_data，维度为(sequence_length, input_size) input_data = torch.randn(sequence_length, input_size) # 将batch_size设为1 batch_size = 1 # 扩展维度，增加一个维度表示batch_size input_data = input_data.unsqueeze(0) # 定义LSTM模型 lstm = torch.nn.LSTM(input_size, hidden_size, num_layers) # 前向传播 output, (h_n, c_n) = lstm(input_data) # output为输出结果，h_n和c_n为LSTM最后一层的隐藏状态和细胞状态 ``` 这样就可以解决这个报错了。如果你的数据有多个样本，可以将batch_size设为样本数量，然后在第一维上进行扩展。
评论 14
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值