DDP分布式训练中遇到的一些问题

已于 2023-06-14 15:38:42 修改
阅读量1.7k 收藏 5
点赞数 3
文章标签： python
于 2023-06-11 16:27:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xx_xjm/article/details/131154564
版权

1：所有forward的输出必须参与到loss计算并回传

2：类似于layer_norm这样的操作是无需进行分布式通信的，也无法进行分布式通信，所以在DDP的时候必须把find_unused_parameters设置为True

3：当报错形式为如下时，即在某一个进程的显卡上没有接收到梯度

这个时候可以在命令行前面加上TORCH_DISTRIBUTED_DEBUG=DETAIL, 这样，将找出具体时哪些参数没有接收到梯度，以此更好的调整代码 

 

4：关于0号卡的显存为什么远高于其他卡

一方面是需要设置torch.cuda.set_device(rank)和torch.cuda.empty_cache()，一般设置在dist.init_process_grop之后（个人习惯），至于为什么，参考一下这篇文章

(4条消息) Pytorch清空显存缓冲区(torch.cuda.empty_cache)_pytorch 释放显存_hxxjxw的博客-CSDN博客

但实验发现，重点其实在torch.cuda.set_device(rank)，所以DDP一定要加这个代码，即使已经用了CUDA_VISIBLE_DEVICES

另一方面是要保证下载预训练模型的时候，torch.load（）的时候加上map_location="cpu"

遇到在补充.......... 

xx_xjm
关注
分布式训练遇到问题：NCCL通信相关问题
weixin_42357472的博客
03-20 1163
3、如果服务器含有网卡比较多（或者docker服务影响），可以torchrun指定具体能互相通信的网卡，可以ifconfig查看。下面两台机器通信10.12.100.1、10.12.100.2是分别通过em2、eno4网卡通信，如果不指定容易报错。添加后检查互相机器上ping hostname 或ping ip是否通。1、相互机器互相hosts文件添加对应ip与hostname。解决方法（主要是网络通信问题）机器二： ip在 eno4上。机器一： ip在 em2上。2、机器都需要关闭防火墙。
在Kubernetes上部署分布式深度学习训练平台
AI天才研究院
07-19 3081
1.1 什么是深度学习？深度学习（Deep Learning）是机器学习的一个分支领域，它利用神经网络算法来进行非监督学习、分类和回归等任务，特别适用于图像、文本、声音等复杂高维数据，通过深层次的神经网络逐步提取数据特征，实现预测和决策。其发展历史可追溯至20世纪90年代。1.2 为什么需要深度学习？深度学习技术的出现赋予了计算机视觉、自然语言处理等领域巨大的突破性进展。这使得深度学习技术得到广泛应用，如自动驾驶汽车、图像识别、语音识别、视频分析、垃圾邮件过滤、生物信息分析、股市预测等。
pytorch DDP训练遇到EOF问题
qq_31740055的博客
12-04 1697
pytorch DDP训练遇到EOF问题 最近在使用pytorch的DDP(分布式数据并行)训练网络时，使用tensorboard记录损失和精度变化曲线，在训练完毕后一直会弹出以下错误，程序无法正常结束。 Unhandled exception in thread started by <bound method Thread._bootstrap of <Thread(Thread-1, started daemon 140268195714816)>> Traceback (mo
【SyncBN踩坑】DDP训练efficientnet精度异常问题
picturelife的博客
09-21 1269
DDP下同步BN层导致efficientnet训练精度异常？
DDP中有参数未参与损失计算的问题
最新发布
qq_51522379的博客
03-16 208
【代码】DDP中有参数未参与损失计算的问题。
mmpose冻结参数训练，如何添加find_unused_parameters参数
qq_41726670的博客
06-30 1008
即可冻结前7层的参数。要注意对于多卡训练来说还需要添加。在backbone下方添加。看图片中代码的位置。
解决DDP的参数未参与梯度计算
billbliss的专栏
10-06 888
将find_unused_parameters改成False之后，如果出现模型有些参数未参与loss计算等错误。或者，乘以0与模型的loss进行相加，使未用到的参数也参入了loss计算。可以用环境变量来debug查看log。可以将这些未用到的参数注释掉。代码上可以用以下方法查看。
【解决警告】多卡DDP分布式训练报错Warning: find_unused_parameters=True was specified in DDP constructor, but did not
一只菟葵的博客
03-18 4871
解决警告：多卡DDP分布式训练报错Warning: find_unused_parameters=True was specified in DDP constructor, but did not find any unused parameters in the forward pass. This flag results in an extra traversal of the autograd graph every iteration, which can adversely affect
「分布式训练」+ DDP单机多卡并行指南 PPT
04-10
在这个"「分布式训练」+ DDP单机多卡并行指南"中，我们将深入探讨DDP的工作原理以及如何在实践中应用。 分布式训练的核心目标是通过分割工作负载来加速模型的训练过程。在单机多卡环境中，每块GPU都会处理一部分...
分布式训练 - 单机多卡（DP和DDP）
热门推荐
love1005lin的博客
05-04 1万+
起初为调用大规模的模型训练，单卡GPU是不够使用的，需要借用服务器的多GPU使用。就会涉及到单机多卡，多机多卡的使用。在这里记录一下使用的方式和踩过的一些坑。文中若有不足，请多多指正。 由于分布式的内容较多，笔者准备分几篇来讲一次下深度学习的分布式训练，深度学习的框架使用的是Pytorch框架。 ----1.分布式训练的理论基础 ----2.GPU训练 ----3.单机多卡的使用 ----4.多机多卡的使用 在GPU训练文章中我们已经了解到了多GPU的训练，最简单的是单机多卡操作torch.nn.DataP
基于pytorch实现分布式训练：DistributedDataParallel
m0_51198914的博客
10-23 783
主要矛盾：日益增长的数据、模型训练的需求与当前单卡计算能力无法满足这个需求之间的矛盾目标： 充分利用GPU的性能来提高模型学习的速度框架： PyTorch的并行计算，让多个GPU来参与训练策略： 模型并行、数据并行、混合并行分类： 单机多卡、多机多卡。
Pytorch——报错解析：RuntimeError: Expected to mark a variable ready only once. This error is caused by one
Irving.Gao的博客
10-30 8125
我在做Semi-Supervised任务时遇到了该BUG，因为在写模型时将student的model运行了两次，分别对两组image进行了forward train并计算了loss，因此出现了如下错误，以此记录。
Pytorch中查找不参与损失计算的层及解决方法
qq_41131535的博客
07-17 1762
在Pytorch中计算loss，如果有些层未参与计算，那么在跑多卡分布式训练的时候，会报错，提示要设置find_unused_parameters=True；
如何在 PyTorch 分布式训练中使用 TORCH_DISTRIBUTED_DEBUG=INFO 进行调试
weixin_48705841的博客
11-25 1338
希望本文对你在进行分布式训练时提供了一些帮助，特别是在优化和调试分布式训练时，能更好地理解 PyTorch 分布式训练的底层细节。通过设置该环境变量，你可以获得训练过程中的详细调试信息，帮助你迅速定位和解决分布式训练中的各种问题。如果你看到某些进程的梯度同步信息异常，或者有进程显示等待状态，则可能是训练过程中的进程未能成功同步。通过这些信息，你可以更加清晰地了解训练过程中的每一步，帮助你识别和解决训练中可能遇到的各种问题。，通过设置它，你可以在控制台输出更多的调试信息，方便追踪分布式训练中的问题。
深度学习中的踩过的一些坑
记录基于python语言处理气象问题的一些代码，包括不限于气象数据读取、机器学习和深度学习建模。
06-19 5621
深度学习遇到的一些bug和问题 不定时更新（希望更新的能越来越少 碰不到bug最好）
ChatGLM2-6B windows/lora 微调报错踩坑
m0_71062400的博客
08-30 2483
机器没问题，cuda没问题，发现是省事用的pip下载的pytorch是cpu版的，低级错误。结果只是transformers版本太高了...调低就可以了...卡了N多个小时，什么都试了，崩溃差点没放弃。
【异常错误】 Expected to have finished reduction in the prior iteration before star、find_unused_parameters
Drug discovery
04-04 4176
如果模型的输出有不需要进行反传的(比如部分参数被冻结/或者网络前传是动态的)【如果有forward的返回值如果不在计算loss的计算图里】，设置此参数为True。如果你的代码运行后卡住某个地方不动，基本上就是该参数的问题，设置为find_unused_parameters=True 就可以了find_unused_parameters=True的设置会带来额外的运行时开销（而且还不小）。
DDP问题记录
f_elite的博客
07-19 434
最简单的是直接设置True，但是会显著降低模型训练效率。我遇到的是路径错误，是因为不同库的CUDA HOME前缀不一致导致的，只需要根据报错信息推测出前缀，在环境变量中临时修改CUDA路径即可。
源码解析] PyTorch 分布式(12) ----- DistributedDataParallel 之 前向传播
罗西的思考
11-27 1429
前文已经对Reducer如何构建和几个重要场景做了介绍，本文就来分析 Reducer 如何实现前向传播。
深度学习分布式训练原理
01-19
### 深度学习分布式训练原理 #### 分布式训练的概念 分布式训练是指通过多个处理器（CPU/GPU/NPU/XPU等）并行执行模型训练任务，从而加速整个训练过程。这种方式不仅限于同一台机器上的多核或多GPU环境，还可以扩展到跨越不同地理位置的集群环境中[^2]。 #### 主要方法和技术 为了有效地实施这种类型的训练，在实践中通常采用两种主要策略之一： - **数据并行(Data Parallelism)** 数据集被分割成若干子集分发给各个工作节点处理。每个节点拥有完整的模型副本，并独立地对自己负责的那一部分输入样本进行前向传播和反向传播操作。之后再通过某种机制汇总梯度更新全局权重参数。这种方法简单易行，适合大多数场景下的应用需求[^1]。 - **模型并行(Model Parallelism)** 当遇到极其庞大复杂的网络结构以至于无法完全加载至单一设备内存时，则可考虑将不同的层或模块划分开来分布部署。此时各计算单元只保存局部状态信息并与相邻部件交换必要消息共同完成一次迭代运算。不过其配置相对复杂些，适用于特定条件下优化性能瓶颈的情况[^3]。 #### 关键技术组件 实现高效稳定的分布式深度学习离不开以下几个方面支持： - **通信协议** 节点间需遵循统一的标准来进行有效沟通交流。比如MPI(Message Passing Interface)，作为一种广泛接受的消息传递接口规范，提供了丰富的函数库用于构建高性能应用程序间的互联架构；而针对更高效的RPC(Remote Procedure Call)调用方式也有专门的设计方案如gRPC等。 - **同步/异步更新机制** 对于前者而言，所有参与者都得等到彼此都完成了当前轮次的学习后再集体推进下一步动作；后者则允许个体按照自身进度灵活调整而不必等待他人，虽然可能引入额外开销但有助于提高整体吞吐量特别是面对大规模异构资源池的情形下表现出色。 - **负载均衡与容错恢复功能** 动态监测系统内部的工作负荷状况及时作出相应调配措施防止某些成员过载崩溃影响全局稳定性；同时具备良好的错误检测纠正能力确保即使遭遇突发情况也能迅速恢复正常运作减少损失风险。 ```python import torch.distributed as dist from torch.nn.parallel import DistributedDataParallel as DDP def setup(rank, world_size): dist.init_process_group("nccl", rank=rank, world_size=world_size) model = YourModel() ddp_model = DDP(model) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值