多机多卡训练时的错误

最新推荐文章于 2025-04-10 11:50:45 发布
最新推荐文章于 2025-04-10 11:50:45 发布
阅读量2.2k 收藏 1
点赞数
分类专栏： 模式识别 编程 文章标签： NCCL
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/blueblood7/article/details/122115175
版权

错误1：

“NCCL WARN Connect to  failed : Network is unreachable”

解决方法：

设置环境变量 NCCL_SOCKET_IFNAME=enp（enp是本地网卡的前缀，有可能是eno，可以先用 ifconfig 查看）

参考：

分布式深度学习最佳入门（踩坑）指南

大模型多机多卡脚本实例 - 增量预训练 -accelerate和deepspeed命令多机多卡训练有什么不同
强化学习曾小健
07-05 2331
总的来说,Accelerate更适合快速上手和一般规模的模型训练,而DeepSpeed则更适合大规模模型和需要高度优化的场景。选择哪个框架取决于具体的项目需求、模型规模和可用的硬件资源。根据具体的硬件资源和模型规模,可以选择合适的优化策略或组合使用。管线并行(Pipeline Parallelism)单GPU或少量GPU上能提供高效的训练吞吐量。CUDA核函数,可以实现更快的推理速度。减少模型状态(参数、梯度、优化器。数据并行进程间分割模型状态。ZeRO和Offload。ZeRO和Offload。
多机多卡推理部署大模型
NLP与推荐算法
06-20 4697
python多机多卡推理部署大模型
pytorch 多机多卡DDP训练遇到ncclSystemError: System call (socket, malloc, munmap, etc) failed错误解决办法
我是一个菜鸟，虚心学习的菜鸟。
08-17 6186
export NCCL_SOCKET_IFNAME=enp4s0，此处enp4s0为每台机器的网卡名字，使用ifconfig查看，要是出现多个网卡名字，找到那个右IP地址、网关和掩码的那个名字，直接在终端输入以下命令，方便查看NCCL日志。
单机多卡训练报错NCCL版本有问题
weixin_42896263的博客
01-09 3605
增加环境变量NCCL_SOCKET_IFNAME=eth2。这个不知道什么原因，然后解决方法是。
nccl使用指南-基础篇
最新发布
father_yingying的博客
04-10 1101
NCCL基础使用
【debug】mmseg多级多卡训练报错：The server socket has failed to listen on any local network address.
向上生长的程序媛的博客
01-18 5732
多机多卡训练mmseg工程时,报错：The server socket has failed to listen on any local network address.简单更换端口号即可解决。
NCCL填坑
卟灵卟灵哒的博客
08-21 2万+
NCCL填坑简介篇章一篇章二篇章三篇章四篇章五篇章五 简介 简单介绍一下，我这新鲜热乎的坑。真的是太少见的了。本人在做pytorch分布式训练，晚上找了个小demo准备先让服务器热一下身。 顺手将共享文件传输改成了tcp传输dist.init_process_group(init_method='file:///home/****/nfstest',backend="gloo",world_size=4,group_name="pytorch_test")变为dist.init_process_group(
2. 多机多卡运行nccl-tests对比分析
Pretend的博客
04-24 5205
NCCL是深度学习训练中的一个关键组件，因为它能够有效地在多个GPU之间传输数据，这对于加速神经网络的训练非常重要。在现代的深度学习框架中，如TensorFlow、PyTorch和Keras，NCCL通常作为后端通信库，与框架的API紧密集成，为用户提供一个简单易用的编程接口。 这里通过使用不同的网络配置，在双机进行了nccl-test测试，获得了不同的结果，并尝试进行简单分析。
centos7 网络连接不上：Network is unreachable 解决方案
weixin_39769067的博客
12-24 1831
centos7 网络连接不上：Network is unreachable 解决方案 1、 cd /etc/sysconfig/network-scripts/ 进入到修改网络配置文件目录 2、ls 查看一下目录 3、vi ifcfg-ens33 按字母 i 进入编辑状态，修改ONBOOT为yes。按下esc键，冒号然后加上字母 wq 保存并退出 4、重启网络服务 service network restart 5、检查一下网络 ping www.baidu.com 6、重启之后不行，重启一下Linu
deepspeed 训练多机多卡报错 ncclSystemError Last error
高颜值的杀生丸(此博客转载自我的博客园)
04-18 1799
最近在搞分布式训练大模型，踩了两个晚上的坑今天终于爬出来了 我们使用 2台 8*H100 遇到过 错误1 10.255.19.85: ncclSystemError: System call (e.g. socket, malloc) or external library call failed or device error. 10.255.19.85: Last error:10.255....
Linux上的多机多卡训练【重要原则】
深耕AI
06-05 558
总之，就是尽可能保证所有参与训练的数据和环境，要一致。
Pytorch单机多卡和多机多卡训练
lbj23hao1的博客
04-15 1万+
PyTorch 可以通过 torch.nn.DataParallel 直接切分数据并行在单机多卡上，实践证明这个接口并行力度并不尽如人意，主要问题在于数据在 master 上处理然后下发到其他 slaver 上训练，而且由于 GIL 的存在只有计算是并行的。torch.distributed 提供了更好的接口和并行方式，搭配多进程接口 torch.multiprocessing 可以提供更加高效的并行训练。 GIL含义解释 多进程 我们都知道由于 GIL 的存在， python 要想真正的并行必须使用多进
在ModelArts Standard上运行GPU多机多卡训练任务
2403_89345625的博客
12-03 2207
Shell脚本在Windows系统编写时，每行结尾是\r\n，而在Linux系统中行每行结尾是\n，所以在Linux系统中运行脚本时，会认为\r是一个字符，导致运行报错“$'\r': command not found”，因此需要去除Shell脚本的\r字符。训练场景主要查看自研的依赖包是否正常，查看pip list是否包含所需的包，查看容器直接调用的python是否是自己所需要的那个（如果容器镜像装了多个python，需要设置python路径的环境变量）。训练作业执行成功后，日志信息如下所示。
Pytorch lightning多机多卡训练通讯问题(NCCL error)排查
zhaoguanhua的博客
10-30 2086
NCCL是英伟达基于NCIDIA-GPU的一套开源的集合通信库，如其官网描述：NVIDIA集合通信库（NCCL）实现了针对NVIDIA GPU性能优化的多GPU和多节点集合通信原语。在大多数情况下，NCCL（https://developer.nvidia.com/nccl）作为底层的集合通信库为分布式深度学习框架提供了多机通讯能力、我们只要安装即可，在分布式深度学习相关的任务或代码中通常感知不到其存在。根据报错提示猜测是两台机器的通信出了问题，需要给NCCL指定用于通信的网络接口名称，即网卡名。
nccl-tests 调用参数 (来自deepseek)
rjc_lihui的专栏
03-10 934
nccl-tests是 NVIDIA 提供的一个测试套件，用于验证和评估 NCCL（NVIDIA Collective Communications Library）的功能和性能。它包含多种集合通信操作（如ncclReduce等）的测试程序。以下是nccl-tests。
LLMs之Colossal-LLaMA-2：Colossal-LLaMA-2的简介(基于LLaMA-2架构+中文优化+扩充词表+仅千美元成本)、安装、使用方法之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
09-27 4489
​ LLM之Colossal-LLaMA-2：Colossal-LLaMA-2的简介、安装、使用方法之详细攻略 目录 Colossal-LLaMA-2的简介 Colossal-LLaMA-2的安装 Colossal-LLaMA-2的使用方法 Colossal-LLaMA-2的简介 2023年9月25日，Colossal-AI团队推出了开源模型Colossal-LLaMA-2-7B-base。这个模型是LLaMA-2的一个衍生版本，
centos7重启network失败问题
ZhiweiChang的博客
12-14 1万+
问题如下： ● network.service - LSB: Bring up/down networking    Loaded: loaded (/etc/rc.d/init.d/network; bad; vendor preset: disabled)    Active: failed (Result: exit-code) since Thu 2017-12-14 11:26:03 ...
WARNING:Retrying(Retry(total=4,connect=None,read=None,redirect=None,status =None))connect broken解决方案
热门推荐
weixin_43178406的博客
03-04 8万+
本文主要介绍了WARNING:Retrying(Retry(total=4,connect=None,read=None,redirect=None,status =None))connection broken broken by 'ReadTimeoutError(“HTTPSConnectionPool(host=‘pypi.org’, port=443):Read time out. (read timeout=15)”)'解决方案，希望能对新手有所帮助。 文章目录 1. 问题描述 2. 解决方案
linux虚拟机无法上网 Network is unreachable
lili_wuwu的博客
09-11 3万+
系统centos   安装ftp时报错 Couldn't resolve host 'mirrorlist.centos.org [root@wulihua bin]#  yum install vsftpd Loaded plugins: fastestmirror, refresh-packagekit, security Setting up Install Process Lo...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值