pytorch 多机多卡DDP训练遇到ncclSystemError: System call (socket, malloc, munmap, etc) failed错误解决办法

最新推荐文章于 2024-04-29 13:17:02 发布
最新推荐文章于 2024-04-29 13:17:02 发布
阅读量3.8k 收藏 5
点赞数 3
文章标签： pytorch 分布式
原文链接：https://blog.csdn.net/u013157943/article/details/124966352
版权

直接在终端输入以下命令，方便查看NCCL日志

export NCCL_DEBUG=INFO
export NCCL_IB_DISABLE=1
export NCCL_SOCKET_IFNAME=enp4s0，此处enp4s0为每台机器的网卡名字，使用ifconfig查看，要是出现多个网卡名字，找到那个右IP地址、网关和掩码的那个名字，这一步是最重要的

然后再训练就可以了

fool-zz
关注
  • 3
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 11
    评论
分布式训练遇到问题：NCCL通信相关问题
weixin_42357472的博客
03-20 293
3、如果服务器含有网卡比较多（或者docker服务影响），可以torchrun指定具体能互相通信的网卡，可以ifconfig查看。下面两台机器通信10.12.100.1、10.12.100.2是分别通过em2、eno4网卡通信，如果不指定容易报错。添加后检查互相机器上ping hostname 或ping ip是否通。1、相互机器互相hosts文件添加对应ip与hostname。解决方法（主要是网络通信问题）机器二： ip在 eno4上。机器一： ip在 em2上。2、机器都需要关闭防火墙。
pytorch 单机多GPU训练RNN遇到的问题
01-06
在使用DataParallel训练中遇到的一些问题。 1.模型无法识别自定义模块。 如图示，会出现如AttributeError: ‘DataParallel’ object has no attribute ‘xxx’的错误。 原因：在使用net = torch.nn.DataParallel(net)之后，原来的net会被封装为新的net的module属性里。 解决方案：所有在net = torch.nn.DataParallel(net)后调用了不是初始化与forward的属性，需要将net替换为net.module。 2.隐藏状态不被拆分到多GPU里。 这种错误常出现在RNN以及衍生
WSL2，NCCL报错RuntimeError: NCCL Error 2: unhandled system error
cascgu的博客
11-03 7142
在WSL2上使用pytorch1.7.1，无法进行多显卡分布式训练，提示“RuntimeError: NCCL Error 2: unhandled system error”，一直不知道什么意思，后来上网搜索，发现可以打印nccl的日志 （链接） ，以获得更为详细的出错提示。随即在环境变量里添加了 export NCCL_DEBUG=info export NCCL_SOCKET_IFNAME=eth0 export NCCL_IB_DISABLE=1 再次训练，这次打印出了更为详细的错误信息。如下
NCCL error in: , unhandled system error
qq_28577809的博客
01-02 4635
今天pytorch分布式跑代码的时候出现 RuntimeError: NCCL error in: /opt/conda/conda-bld/pytorch_1614378083779/work/torch/lib/c10d/ProcessGroupNCCL.cpp:825, unhandled system error, NCCL version 2.7.8 ncclSystemError: System call (socket, malloc, munmap, etc) failed.) NC.
使用pytorch分布式进行训练的时候发生的错误
u013157943的博客
05-25 3590
在进行分布式训练的时候遇到这个错，不知道怎么解决，先记录一下 Traceback (most recent call last): File "my_train.py", line 194, in <module> main(parser.parse_args()) File "my_train.py", line 75, in main backbone = torch.nn.parallel.DistributedDataParallel( File "/roo
Python报RuntimeError NCCL Error 2 unhandled system error
StriveZs'Blog
08-05 3865
title: Python报RuntimeError NCCL Error 2 unhandled system error categories: OJ tags: Programing Python报RuntimeError NCCL Error 2 unhandled system error docker exec -it --user root -e NVIDIA_VISIBLE_DEVICES=0,1,2,3 remote /bin/bash 上面的命令，目前好像没用了。。。 .
运行softTeacher过程中遇到的问题
Meng_zw的博客
12-28 1007
如果设置NCCL_IB_DISABLE=1的话，会强制 NCCL 使用 IP 套接字进行通信，而不是尝试使用可能不可用的 IB/RoCE。InfiniBand (IB) 和 RDMA over Converged Ethernet (RoCE) 是高性能网络协议，通常在分布式和高性能计算环境中使用，允许进行快速数据传输。注意，使用 IP 套接字可能会比使用 IB/RoCE 传输慢，因为它通常不会利用硬件加速特性，但如果硬件或驱动程序支持有问题，这可能是一个有用的临时解决方案。
NCCL 故障排除 二
s_sunnyy的博客
01-10 8183
5.4. NCCL Knobs A knob isa type of environment variable that can you can turn on or off by settingspecific values. These environment variables should be set in the context ofrunning NCCL. The followi
分布式训练
吴建明wujianming_110117
02-15 1511
分布式训练 深度学习中，越来越多的场景需要分布式训练。由于分布式系统面临单机单卡所没有的分布式任务调度、复杂的资源并行等问题，因此，通常情况下，分布式训练对用户有一定的技术门槛。 在 OneFlow 中，通过顶层设计与工程创新，做到了 分布式最易用，用户不需要特别改动网络结构和业务逻辑代码，就可以方便地使用 OneFlow 进行分布式训练。这是 OneFlow 区别于其它框架的 最重要特性。 本文将介绍： • 如何将单机程序修改为分布式程序 • OneFlow 中节点概念及分工 OneFlow 分布式优势
pytorch指定用多张显卡训练_Pytorch中多GPU训练指北
weixin_39639518的博客
12-19 3163
前言在数据越来越多的时代，随着模型规模参数的增多，以及数据量的不断提升，使用多GPU去训练是不可避免的事情。Pytorch在0.4.0及以后的版本中已经提供了多GPU训练的方式，本文简单讲解下使用Pytorch多GPU训练的方式以及一些注意的地方。这里我们谈论的是单主机多GPUs训练，与分布式训练不同，我们采用的主要Pytorch功能函数为DataParallel而不是DistributedPar...
分布式GNN系统环境配置
weixin_42930699的博客
11-10 3221
分布式GNN系统环境配置DL环境Anacondascp命令安装anaconda
多机多卡训练时的错误
blueblood7的专栏
12-23 1690
错误1： “NCCL WARN Connect to failed : Network is unreachable” 解决方法： 设置环境变量NCCL_SOCKET_IFNAME=enp（有可能是eno，可以先用ifconfig 查看）
基于pytorch的单机多卡分布式训练源码
09-06
基于pytorch的单机多卡分布式训练源码，已经测试可用，找了很多资料，这个可以完美适用于单机多卡的训练。 注意，是非常完美地适用于单机多卡的训练！！！
pytorch使用horovod多gpu训练的实现
09-16
主要介绍了pytorch使用horovod多gpu训练的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
解决Pytorch 加载训练好的模型 遇到的error问题
09-18
今天小编就为大家分享一篇解决Pytorch 加载训练好的模型 遇到的error问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
多节点训练-Pytorch单机多GPU训练方法示例与教程-附详细教程说明-超优质项目分享.zip
02-19
多节点训练_Pytorch单机多GPU训练方法示例与教程_附详细教程说明_超优质项目分享
解决pytorch多GPU训练保存的模型,在单GPU环境下加载出错问题
09-16
主要介绍了解决pytorch多GPU训练保存的模型,在单GPU环境下加载出错问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
基于MLP算法实现交通流量预测(Pytorch版)
打酱油的葫芦娃
04-22 791
机器学习技术，尤其是深度学习方法，凭借其强大的模型构建能力和对复杂非线性关系的出色捕捉能力，逐渐崭露头角，成为交通流量预测领域的研究热点。其中，多层感知器（MLP）作为一类基础而经典的前馈型人工神经网络，以其简洁的结构、灵活的适应性和良好的泛化性能，在处理高维、非线性问题上展现出独特优势。 MLP通过模拟人脑神经元的工作机制，通过多层非线性变换对输入数据进行深度抽象和特征学习，能够有效挖掘交通流量数据背后的复杂关联与潜在模式，从而实现对未来的流量状态进行精准预测。
【PyTorch与深度学习】3、PyTorch张量的运算API（下）
最新发布
随手写写
04-29 1001
最近做实验发现自己还是基础框架上掌握得不好，于是开始重学一遍PyTorch框架，这个是课程笔记，这个课还是讲的简略，我半小时的课听了一个半小时。
pytorch ddp 多机多卡训练示例
03-29
下面是一个使用PyTorch DDP（分布式数据并行）进行多机多卡训练的示例： 1.首先，需要使用torch.distributed.launch启动多个进程，每个进程都运行相同的脚本并使用不同的参数。例如，在两台机器上运行以下命令： ``` # Machine 1 python -m torch.distributed.launch --nproc_per_node=2 --nnodes=2 --node_rank=0 --master_addr="10.0.0.1" --master_port=8888 train.py # Machine 2 python -m torch.distributed.launch --nproc_per_node=2 --nnodes=2 --node_rank=1 --master_addr="10.0.0.1" --master_port=8888 train.py ``` 上面的命令将在两台机器上启动4个进程，每个进程使用2个GPU进行训练。 2.在代码中，使用torch.distributed初始化进程组，并将模型和数据加载到每个进程中。例如： ``` import torch import torch.nn as nn import torch.distributed as dist # Initialize distributed process group dist.init_process_group(backend='nccl', init_method='env://') # Load data and model train_data = ... train_loader = torch.utils.data.DataLoader(train_data, batch_size=64, shuffle=True) model = nn.Sequential( nn.Linear(784, 256), nn.ReLU(), nn.Linear(256, 10) ) # Distributed model and optimizer model = nn.parallel.DistributedDataParallel(model) optimizer = torch.optim.SGD(model.parameters(), lr=0.01) ``` 这里使用了nn.parallel.DistributedDataParallel将模型包装成分布式模型，使用torch.optim.SGD作为优化器。 3.在训练循环中，每个进程都会收集自己的梯度并将它们聚合到进程组中。然后，所有进程都将使用平均梯度更新模型参数。例如： ``` for epoch in range(10): for data, target in train_loader: optimizer.zero_grad() output = model(data) loss = nn.functional.cross_entropy(output, target) loss.backward() # All-reduce gradients for param in model.parameters(): dist.all_reduce(param.grad.data, op=dist.reduce_op.SUM) optimizer.step() ``` 在每个批次之后，使用dist.all_reduce将每个进程的梯度聚合到进程组中，然后使用平均梯度更新模型参数。 4.训练完成后，使用dist.destroy_process_group()关闭进程组并释放资源。例如： ``` dist.destroy_process_group() ``` 这个示例展示了如何使用PyTorch DDP进行多机多卡训练。需要注意的是，使用DDP需要确保所有进程都能够访问相同的数据和模型，并且需要正确设置进程组中的参数。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 11
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值