「已解决」使用DDP多卡训练在All distributed processes registered. Starting with 8 processes卡死

最新推荐文章于 2024-05-06 17:05:30 发布
最新推荐文章于 2024-05-06 17:05:30 发布
阅读量394 收藏
点赞数
文章标签： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CCCDeric/article/details/133993371
版权

使用DDP进行多卡加速训练，卡在以下位置：

----------------------------------------------------------------------------------------------------
distributed_backend=nccl
All distributed processes registered. Starting with 8 processes
----------------------------------------------------------------------------------------------------

解决方法

export NCCL_P2P_DISABLE=1
Ceder1c
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
「分布式训练」+ DDP单机多卡并行指南
07-20
本课件包含对分布式训练及Pytorch两种主要的并行训练方式DP以及DDP的原理介绍， 以及使用 DDP 实现单机多卡并行方式的代码修改要点总结。
pytorch 分布式多卡训练DistributedDataParallel 踩坑记
热门推荐
comway_Li的博客
07-23 3万+
前言： 　　近几天想研究了多卡训练，就花了点时间，本以为会很轻松，可是好多坑，一步一步踏过来，一般分布式训练分为单机多卡与多机多卡两种类型； 主要有两种方式实现： １、DataParallel: Parameter Server模式，一张卡位reducer，实现也超级简单，一行代码 DataParallel是基于Parameter server的算法，负载不均衡的问题比较严重，有时在模型较大的时候（比如bert-large），reducer的那张卡会多出3-4g的显存占用 ２、Distr...
单机多卡训练神经网络
zzphahahaha的博客
12-30 931
单机多卡训练神经网络DDP（DistributedDataParallel）如何迅速集成？笔者遇到的问题解决方案 DDP（DistributedDataParallel） DDP优于DP，这里不做赘述，请读者自己搜索吧。 如何迅速集成？ 直接上代码： 第一步：初始化 dist.init_process_group(backend='nccl') local_rank = torch.distributed.get_rank() torch.cuda.set_device(local_rank) device
pgm_ddp3_bios.u37_mame_ddp3-bios.u37_fbneobios_fbneo_
10-02
模拟器需要
Resnet实战：单机多卡DDP方式、混合精度训练
04-15
本例提取了植物幼苗数据集中的部分数据做数据集，数据集共有12种类别，模型使用最经典的resnet50，演示如何实现混合精度训练以及如何使用DDP的方式实现多卡并行训练。 通过本文你和学到： 1、如何使用混合精度训练？ 2、如何制作ImageNet数据集？ 3、如何使用DDP方式的进行多卡训练？ 4、如何使用Mixup数据增强。 5、如何进行多卡BN同步？ 6、如何使用余弦退火调整学习率？ 7、如何使用classification_report实现对模型的评价。 8、预测的两种写法。 原文链接：https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/124196817
Pytorch 分布式并行DDP 卡死 挂起
qq_40947610的博客
11-30 6789
Pytorch 分布式并行DDP 卡死，设置NCCL_P2P_DISABLE=1禁用GPU之间直接通信即可解决。
分布式训练 - 多机多卡 (DDP)
love1005lin的博客
05-06 1万+
起初为调用大规模的模型训练，单卡GPU是不够使用的，需要借用服务器的多GPU使用。就会涉及到单机多卡，多机多卡的使用。在这里记录一下使用的方式和踩过的一些坑。文中若有不足，请多多指正。 由于分布式的内容较多，笔者准备分几篇来讲一次下深度学习的分布式训练，深度学习的框架使用的是Pytorch框架。 ----1.分布式训练的理论基础 ----2.GPU训练 ----3.单机多卡的使用 ----4.多机多卡的使用 在前边的文章中已经提到了怎样进行单机单卡和单机多卡进行分布式训练，那可能有小伙伴会有疑问能不能进行多
#Pytorch 使用DDP训练第一轮，验证后第二轮卡住
往深度学习的深度广度冲！
01-19 557
问题：在使用DDP分布式训练的时候，在第一轮训练后验证结果，在第二轮开始时就卡住了。，所以只有第一个GPU跑了验证，在第二轮时只有第一个GPU的模型在，其他卡的模型都被阻塞住了。解决方法：在验证时不要使用。，这样就可以顺利运行了。
多机多卡分布式训练(Distributed Data DataParallel, DDP)安装踩坑记录
xyl_507的博客
04-28 3830
最近在做目标跟踪的训练时，需要对backbone做一个在imagenet上的预训练模型。众所周知，140GB+的imagenet数据集上训练网络很是考验算力。刚开始在单机双卡(2080Ti)上试了一下，1个epoch需要6个小时，跑完100 epoch大约100*6/24=25天。瞬间放弃单机多卡，将目光放在了多机多卡训练，特撰文记录这段时间的工作，方便以后查询。 一、准备工作 因为之前配置单机的深度学习环境时，备份了许多安装包，所以后续大多数都是离线安装 安装包目录： cuda_10.2.89
在表格数据集上训练变分自编码器 (VAE)示例
deephub
08-04 4211
自编码器由两个主要部分组成:1)将输入映射为潜在空间的编码器2)使用潜在空间重构输入的解码器潜在空间在原论文中也被称为表示变量或潜在变量。那么为什么称为变分呢?将潜在表示的分布强制转换到一个已知的分布（如高斯分布），因为典型的自编码器不能控制潜在空间的分布而(VAE)提供了一种概率的方式来描述潜在空间中的观察。因此我们构建的编码器不是输出单个值来描述每个潜在空间的属性，而是用编码器来描述每个潜在属性的概率分布。在本文中我们使用了最原始的VAE，我们称之为vanilla VAE（以下称为原始VAE）...
「分布式训练」+ DDP单机多卡并行指南 PPT
04-10
「分布式训练」+ DDP单机多卡并行指南
HuChiLiang.rar_ddp666.com_进程_进程 隐藏
09-21
教科书式的DELPHI源码，演示了进程互斥及线程互斥，相信对初学者会有很大帮助。
Pytorch多GPU并行训练: DistributedDataParallel
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
11-15 1149
在训练大型数据集或者很大的模型时一块GPU很难放下，例如最初的AlexNet就是在两块GPU上计算的。并行计算一般采取两个策略：一个是模型并行，一个是数据并行。左图中是将模型的不同部分放在不同GPU上进行训练，最后汇总计算。而右图中是将数据放在不同GPU上进行训练，最后汇总计算，不仅能增大BatchSize，还能加快计算速度，提高计算精度
[深度学习] 分布式Pytorch介绍（三）
摩登都市天空---专栏
04-20 2万+
[深度学习] 分布式模式介绍（一） [深度学习] 分布式Tensorflow介绍（二） [深度学习] 分布式Pytorch 1.0介绍（三） [深度学习] 分布式Horovod介绍（四） Pytorch 分布式简介 https://pytorch.org/docs/stable/distributed.html torch.distributed 包支持 Pytorch 中通过...
torch.distributed多卡/多GPU/分布式DPP(二)—torch.distributed.all_reduce(reduce_mean)barrier控制进程执行顺序&seed随机种子
hxxjxw的博客
08-09 4964
torch.distributed多卡/多GPU/分布式DPP(二) —— torch.distributed.all_reduce & barrier
PyTorch 单机多卡操作总结：分布式DataParallel，混合精度，Horovod)
sinat_22510827的博客
11-06 907
在上一篇文章中（https://zhuanlan.zhihu.com/p/158375254）我们看到了多GPU训练，也就是最简单的单机多卡操作nn.DataParallel。但是很遗憾这种操作还不够优秀，于是就有了今天这篇文章~ 写这篇文章的时候看了很多的tutorials，附在文末了，在此先向文末的每位作者致敬，感谢大佬们！ 其实单机多卡的办法还有很多(如下)，而且上篇的方法是相对较慢的。 1、nn.DataParallel简单方便的 nn.DataParallel 2、torch.distr.
Fairseq学习日记：注定麻烦的旅程
starinline的专栏
11-22 6676
现在开头：Fairseq是一个正在快速迭代的产品，而且是开源的！ 这不是表扬，这意味着三件事情： 1.他没有文档！所有框架代码都没有任何注释，包括函数docstring都没有 2.他没有经过有效测试，估计是抢时间吧！即使是官网Readme里的例子也是无法跑起来的！ 3.他是一个框架，而且是一个非常不Pythonic的框架，充斥着inline/包装器/莫名其妙的语法。 虽然这三点决定他真的对不住Facebook的金字招牌，但是作为一个学习者，总要把他运行起来，那么开始这场针对 FaceBOOK派“全
Pytorch并行分布式训练四 （DDP）
Dteam_f的博客
11-05 2235
Getting Started with Distributed Data Parallelhttps://pytorch.org/tutorials/intermediate/ddp_tutorial.html DDP是目前Pytorch推荐的多GPU训练方法，它支持单机多卡，多机多卡等情况。目前pytorch对DDP技术中进程的启动方式又分为launch脚本启动，和mp模启动。就目前而言，pytorch更推荐采用mp的方法，但launch的方法使用的也很广，所以下面一并做一些介绍。 1.Data..
【Pytorch】1.读取训练数据集
最新发布
Elephant_King的博客
05-06 241
class MyData(Dataset): # 创建一个MyData类，同时继承Dataset类def __init__(self, root_dir, label_dir): # 类似于c++的构造函数# root_dir 一般设置为训练集文件夹的地址(train)# label_dir 一般设置为分类文件夹的地址(ants)self.path = os.path.join(root_dir, label_dir) # 这个函数的作用是将root_dir的地址与label_dir的地址拼接起来。
pytorch ddp mp.spawn 启动多机多卡训练
03-30
PyTorch支持使用分布式数据并行（DDP）和多进程训练（mp）来实现多机多卡训练。以下是使用PyTorch进行多机多卡训练的步骤： 1. 安装必要的软件和库。您需要安装PyTorch和Horovod（或其他分布式训练库），以便能够使用DDP和mp。 2. 编写代码。您需要编写一个PyTorch脚本，该脚本使用DDP和mp启动多机多卡训练。您可以使用以下代码片段来启动多机多卡训练： ``` import torch import horovod.torch as hvd from torch.nn.parallel import DistributedDataParallel from torch.utils.data.distributed import DistributedSampler from torchvision import datasets, transforms # Initialize Horovod hvd.init() # DistributedSampler to split the dataset among the workers train_sampler = DistributedSampler( datasets.MNIST( './data', train=True, download=True, transform=transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) ]) ), num_replicas=hvd.size(), rank=hvd.rank() ) # DataLoader to load the dataset train_loader = torch.utils.data.DataLoader( datasets.MNIST( './data', train=True, download=True, transform=transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) ]) ), batch_size=64, sampler=train_sampler ) # Setup the model model = ... model = DistributedDataParallel(model) # Define the optimizer optimizer = ... # An optimizer is instantiated for each worker with a copy of the model and its gradients optimizer = hvd.DistributedOptimizer(optimizer, named_parameters=model.named_parameters()) # Train the model for epoch in range(10): train(epoch, model, train_loader, optimizer, hvd.rank(), hvd.size()) ``` 3. 启动多机多卡训练。您需要在多台计算机上启动多个进程来运行PyTorch脚本。以下是一个简单的启动脚本示例： ``` mpirun -np 4 \ -H server1:2,server2:2 \ -bind-to none -map-by slot \ -x NCCL_DEBUG=INFO -x LD_LIBRARY_PATH \ python train.py ``` 上述命令将在两台计算机上启动4个进程（每台计算机上有两个进程），并将它们连接起来进行多机多卡训练。请注意，您需要将“server1”和“server2”替换为您的计算机名称或IP地址。 4. 监视训练进度。您可以使用TensorBoard等工具来监视训练进度，并在训练期间进行实时分析。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值