Pytorch分布式训练/多卡/多GPU训练DDP的torch.distributed.launch和torchrun

已于 2022-10-10 13:48:47 修改
阅读量2.7k 收藏 4
点赞数 2
文章标签： pytorch 深度学习 python
于 2022-08-03 16:43:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hxxjxw/article/details/126143590
版权

PyTorch torchrun torch.distributed.launch DDP 分布式训练
关键词由CSDN通过智能技术生成

torchrun是pytorch1.9.0引入的

官方现在已经建议废弃使用torch.distributed.launch，转而使用torchrun

但是大多数程序还是用的DDP，还可以挣扎一波

用torchrun和DDP基本没差别

就把 python torch.distributed.launch 直接改torchrun

好像就阔以

官网教程都变torchrun了

hxxjxw
关注
PyTorch 分布式训练 (DP/DDP/torchrun/多机多卡) ＜笔记总结＞
科研学习笔记！
06-29 3332
PyTorch 分布式训练问题总结： (DP/DDP/torchrun/多机多卡)
torchrun、 torch.distributed.launch 多节点分布式训练使用案例
weixin_42357472的博客
03-14 963
数据并行分布式图：梯度更新分布式训练参数含义：nnodes：节点的数量，通常一个节点对应一个主机，方便记忆，直接表述为主机node_rank：节点的序号，从0开始nproc_per_node：一个节点中显卡的数量-master_addr：master节点的ip地址，也就是0号主机的IP地址，该参数是为了让 其他节点 知道0号节点的位，来将自己训练的参数传送过去处理。
怎么XXX.sh后再debug torchrun 以及 deepspeed，如何追进transformers库里面
最新发布
maple______的博客
08-13 66
一般情况下，大家都是使用deepspeed、torchrun运行代码。参数都特别多，然后都是使用。🚨 上面的端口号都写一样。
PyTorch 分布式训练和启动脚本torch.distributed.launch torchrun slurm
www_z_dd的博客
07-31 4057
如果当前有4个GPU，batch_size=16，那么模型将被复制到每一个GPU上，在前向传播时，每一个gpu将分到4个batch，每个gpu独立计算依据分到的batch计算出结果的梯度，然后将梯度返回到第一个GPU上，第一个GPU再进行梯度融合、模型更新。在下一次前向传播的时候，将更新后的模型再复制给每一个GPU。1、DP在每个训练批次（batch）中，因为模型的权重都是在 一个进程上先算出来 然后再把他们分发到每个GPU上，所以就成为了一个瓶颈，而GPU使用率也通常很低。
使用torchrun取代torch.distributed.launch
qq_43667603的博客
04-24 2184
【代码】使用torchrun取代torch.distributed.launch。
torch单机多卡训练：pytorch.distributed.launch/run V.S. torchrun
shuia64649495的博客
04-27 929
master_addr：master节点的ip地址，也就是0号主机的IP地址，该参数是为了让 其他节点 知道0号节点的位，来将自己训练的参数传送过去处理。-master_port：master节点的port号，在不同的节点上master_addr和master_port的设置是一样的，用来进行通信。node_rank：指的是当前启动的是第几台服务器，从 0 开始。nnodes：节点（主机）的数量，通常一个节点对应一个主机。nproc_per_node：一个节点中显卡的数量。
关于集群分布式torchrun命令踩坑记录（自用）
热门推荐
Komach的博客
05-19 2万+
在训练或者微调模型的过程中，单节点的显存溢出，或者单节点的显卡较少，算力有限。需要跨节点用多个节点多块显卡来运行这项任务。这里就需要使用分布式命令，将这项任务分布到多个节点上来处理。
基于pytorch的单机多卡分布式训练源码
09-06
在PyTorch中，单机多卡分布式训练是一种优化深度学习模型训练效率的方法，它能够充分利用多GPU资源，加速模型的收敛过程。本教程将详细解释如何使用PyTorch实现单机多卡分布式训练，主要参考提供的源码文件`pytorch_...
docker方式进行pytorch多机多卡分布式训练
weixin_42357472的博客
03-21 506
docker ip共享与gpu指定1）ip共享docker网络有多种，这里选择host直接用宿主机的ip2）指定gpu。
Pytorch分布式训练
qq_45562973的博客
07-15 409
首先DistributedDataParallel是能够实现多机多卡训练的，但考虑到大部分的用户并没有多机多卡的环境，本篇博文主要介绍单机多卡的用法。简单来说，DataParallel有一个参数服务器的概念，参数服务器所在线程会接受其他线程传回来的梯度与参数，整合后进行参数更新，再将更新后的参数发回给其他线程，这里有一个单对多的双向传输。像下面一样加一个判断即可，这里的get_rank()得到的是进程的标识，所以输出操作只会在进程0中执行。下面给出一个非常精简的单机多卡示例，分为六步实现单机多卡训练。...
PyTroch笔记 - 多GPU分布式训练
Mystra
08-22 1006
模型并行：模型较大，拆分为不同模块，放在不同的GPU上运行，在第1个GPU的输出结果，输入到第2个GPU运行，串行。不要把张量当入日志中输出，使用“.item()”转换为python的数据类型。数据并行：数据放在不同的GPU上跑，模型放在同一个GPU上，并行。代码：使用os.envisorn，例如。argparse，从命令行中接收参数，加载完模型数据，可以进行模型的拷贝，(v1.0版本，已经很少使用 )优点：多进程执行多卡训练，效率高。PyTorch分布式训练。(推荐)，简称DDP。判断CUDA是否可用。
Pytorch 多卡并行（2）—— 使用 torchrun 进行容错处理
佚失的诗篇
09-12 1万+
本文介绍如何使用 torchrun 框架改写 DDP 单机多卡并行代码，增强容错性和稳定性
【PyTorch】PyTorch深度学习框架实战（二）：torchrun
人工智能领域博客
06-08 2158
本文首先对pytorch的历史、特点和安装方法进行简要介绍，接着对pytorch的分布式训练框架torchrun实用方法进行整理，欢迎大家点赞收藏，以备查阅。
什么是torchrun？
q742971636的博客
06-26 1138
结合上述内容，我们可以看到，通过使用torchrun，你可以轻松启动多个分布式训练进程，而无需手动配置复杂的环境变量。这极大地简化了分布式训练的管理和调试过程。而 DDP 则确保了在多个进程之间同步模型参数和梯度，使得训练过程能够高效地并行化。希望这些信息能帮助你更好地理解和使用torchrun以及 PyTorch 的分布式数据并行。若有任何问题或进一步的需求，请随时提问。
torch - 弹性训练极简实现ddp
爱CV
05-10 2014
原文：实操教程｜Pytorch - 弹性训练极简实现( 附源码) 作者将以往抽象的分布式训练的概念以代码的形式展现出来，并保证每个代码可执行、可验证、可复现，并贡献出来源码让大家相互交流。本例中会先在Node0上启动4 GPU的worker group ，等其训练一段时间后，会在Node1上再启动4 GPU的workers，并与Node1上的workers构成一个新的worker group，最终构成一个2机8卡的分布式训练。>> 由于工作需要，最近在补充分布式训练方面的知识。经过一番理论学
accelerate launch/torchrun
人工智能曾小健
07-04 1720
采用[:]（例如node1.example.com:29400）的形式，指定C10d集合点后端应实例化和托管的节点和端口。要在同一主机上运行单节点、多工作线程的多个实例（单独的作业），我们需要确保每个实例（作业）都设置在不同的端口上，以避免端口冲突（或更糟糕的是，两个作业被合并为一项工作）。节点离开（缩小规模）：代理收到离开通知，所有现有的工作人员都停止，形成新的工作人员，并且所有工作人员都以新的和。多节点多工作线程：在参与训练的所有节点上使用相同的参数启动启动器。
torch分布式训练
orangerfun的博客
04-05 1万+
1. 基本概念 rank 进程号，在多进程上下文中，我们通常假定rank 0是第一个进程或者主进程，其它进程分别具有1，2，3不同rank号，这样总共具有4个进程 node 物理节点，可以是一个容器也可以是一台机器，节点内部可以有多个GPU；nnodes指物理节点数量， nproc_per_node指每个物理节点上面进程的数量 local_rank 指在一个node上进程的相对序号，local_rank在node之间相互独立 WORLD_SIZE 全局进程总个数，即在一个分布式任务中rank
horovod和pytorch多机多卡分布式并行训练代码配置及训练启动
m0_59156726的博客
05-17 2312
只需要安装pytorch GPU版本即可，使用其内部DistributedDataParallel 方法即可实现，方便简单。从终端torchrun启动，初始化使用环境变量，并行实际上是给每个GPU启动一个进程先看整体改动架构，只列出改动部分，适合单机多卡，多机多卡这里强调一下几个比较重要的参数；我们拿两台机器，每台机器四个显卡来举例说明–node_rank 这个是在运行torchrun时候指定，指多机的时候每个机器都有一个唯一标识，两台机器就是0,1,一台机器上指定0，另一台机器指定1。
分布式训练工具torchrun、accelerate、deepspeed、Megatron
zengxiaojian2的博客
07-10 2192
torchrun：适合需要快速上手和简单配置的用户，适用于小规模分布式训练。accelerate：适合使用 Hugging Face 生态系统的用户，尤其是在 NLP 任务中，提供了较为便捷的分布式训练接口。deepspeed：适合对性能和规模有更高要求的用户，提供了丰富的优化功能，适用于大规模模型训练。不同工具的选择取决于具体的需求、模型规模、硬件环境以及用户对配置和优化的熟悉程度。Poe好的,我很乐意为您详细比较这几种分布式训练工具的异同与优劣。
pytorch分布式训练报错：AttributeError: module ‘torch.distributed‘ has no attribute ‘init_process_group‘ 解决方法
04-21
这个问题可能是由于PyTorch版本问题导致的，建议检查PyTorch版本是否支持分布式训练，并尝试升级或回退PyTorch版本。另外，也可以检查torch.distributed包是否正确安装。如果问题仍然存在，可以尝试在代码中手动设置分布式训练参数，而不是使用torch.distributed.init_process_group函数。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值