Pytorch(十一) —— 分布式(多GPU/多卡)训练 并行 (DP & DDP)

已于 2022-08-03 10:59:32 修改
阅读量6.4k 收藏 11
点赞数 4
文章标签： Pytorch
于 2021-02-08 23:48:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hxxjxw/article/details/113764305
版权

      从PyTorch 0.2版本开始，PyTorch新增分布式GPU支持。

      注意分布式和并行的区别：分布式是指有多个GPU在多台服务器上，而并行一般指的是一台服务器上的多个GPU。分布式涉及了服务器之间的通信，因此比较复杂，PyTorch封装了相应的接口，可以用几句简单的代码实现分布式训练。

       分布式对普通用户来说比较遥远，因为搭建一个分布式集群的代价很大，使用也比较复杂。相比之下，一机多卡更现实。

       如果服务器具有多个GPU，tensor.cuda（）方法会将tensor保存到第一块GPU上，等价于tensor.cuda（0）。此时如果想使用第二块GPU，需手动指定tensor.cuda（1）

Pytorch多卡训练的原理

（1）将模型加载到一个指定的主GPU上，然后将模型复制(浅拷贝)到其它的从GPU上；

（2）将总的batch数据等分到不同的GPU上进行计算（坑：需要先将数据加载到主GPU上）；

（3）每个GPU根据自己分配到的数据进行forward计算得到loss，并通过backward得到权重梯度；

（4）得到的输出在主GPU上进行汇总，主GPU将所有从GPU得到的梯度进行合并并更新主GPU上的权值。再将更新后的模型参数复制到其他GPU 中

要区分DP和DDP，不能这么笼统地说，二者不一样

主 GPU 默认情况下是 0 号 GPU，也可以通过 torch.cuda.set_device(id) 来手动更改默认 GPU。

Pytorch中多GPU并行计算(分布式)

我们主要谈论的是单主机多GPU(单机多卡)训练

  • DataParallel(DP) 实现简单，代码量较少，启动速度快一点。但速度较慢，且存在负载不均衡的问题。单进程，多线程。主卡显存占用比其他卡会多很多。不支持 Apex 的混合精度训练。是Pytorch官方很久之前给的一种方案。
  • DistributedDataParallel(DDP)   All-Reduce模式，本意是用来分布式训练(多机多卡)，但是也可用于单机多卡。配置稍复杂。多进程。数据分配较均衡。是新一代的多卡训练方法。使用torch.distributed 库。

现在都是用DistributedDataParallel

使用DistributedDataParallel，需要用torch.distributed.launch去launch程序，
 

DP的话就像这样

所有的卡都是一个进程

Pytorch中多GPU并行计算教程_霹雳吧啦Wz-CSDN博客_pytorch多gpu并行训练

Pytorch中多GPU并行计算教程_霹雳吧啦Wz-CSDN博客_pytorch多gpu并行训练

hxxjxw
关注
多GPU训练网络模型——数据并行（DataParallel、DistributedDataParallel）
Billie使劲学的博客
07-14 1535
分布式：分布式是指使用多台服务器的多块GPU进行运算，即多机多卡。并行：并行是指使用一台服务器的多个GPU运算，即单机多卡。
pytorch 分布式 gpu
qq_44761480的博客
03-20 463
2. 分布式gpu 两种方法，第一是 nn.DataParallel 使用简单，第二是 torch.distributed，推荐使用第二个。 注意： 自己定义的模型属性方法，并行化后无法使用，torch.distributed 使用 model = model.module 即可解决，但是 nn.DataParallel 使用之后就会变成非并行。 os.environ[‘CUDA_VISIBLE_DEVICES’] = ‘2,3’ 需要放到第一次使用 torch 之前，否则不会起作用。 torch.dis
多GPU使用与并行训练
最新发布
记录知识，分享知识
03-27 910
环境变量控制 GPU 可见性：在命令行设置可以灵活选择使用哪几块 GPU。单 GPU 训练：通过将模型和数据移动到指定 GPU 上进行训练。多 GPU 训练：简单易用，但存在主 GPU 负载过高等问题，适合小规模场景。：更高效、扩展性更好（支持多机多卡），需要额外设置分布式环境（例如使用 torchrun 启动）。混合精度训练：使用可以减少显存使用并提高训练速度。数据采样：在 DDP 中使用确保各进程数据不重叠并且均衡。
收藏 | GPU多卡并行训练总结
zandaoguang的博客
08-27 1637
点击上方“视学算法”，选择加"星标"或“置顶”重磅干货，第一时间送达仅作学术分享，不代表本公众号立场，侵权联系删除转载于：记忆的迷谷@知乎（已授权）来源 | https:/...
深度学习-GPU多卡并行训练总结
记录学习的小白
07-06 5136
首先打乱数据顺序，然后用 11/2 =6（向上取整），然后6乘以GPU个数2 = 12，因为只有11个数据，所以再把第一个数据（索引为6的数据）补到末尾，现在就有12个数据可以均匀分到每块GPU。BatchSampler原理: DistributedSmpler将数据分配到两个GPU上，以第一个GPU为例，分到的数据是6，9，10，1，8，7，假设batch_size=2，就按顺序把数据两两一组，在训练时，每次获取一个batch的数据，就从组织好的一个个batch中取到。后面的部分和单GPU相同。
多GPU并行处理[任务分配、进程调度、资源管理、负载均衡]
Ppandaer的博客
07-25 1358
【代码】多GPU并行处理[任务分配、进程调度、资源管理、负载均衡]
多GPU并行计算
fengtian12345的博客
06-04 3886
一般一个cpu线程控制一个gpu所以多gpu使用多个cpu线程控制使用cudaSetDevice（gpuid）设置当前操作的gpu即可
分布式训练 - 单机多卡（DP和DDP）
love1005lin的博客
05-04 1万+
起初为调用大规模的模型训练，单卡GPU是不够使用的，需要借用服务器的多GPU使用。就会涉及到单机多卡，多机多卡的使用。在这里记录一下使用的方式和踩过的一些坑。文中若有不足，请多多指正。 由于分布式的内容较多，笔者准备分几篇来讲一次下深度学习的分布式训练，深度学习的框架使用的是Pytorch框架。 ----1.分布式训练的理论基础 ----2.GPU训练 ----3.单机多卡的使用 ----4.多机多卡的使用 在GPU训练文章中我们已经了解到了多GPU的训练，最简单的是单机多卡操作torch.nn.DataP
Pytorch基础｜分布式数据并行 （DDP）以及其Pytorch实现
weixin_49659123的博客
07-05 1510
本篇文章进一步深入解析分布式数据并行（DistributedDataParallel, DDP）的原理，并解析分布式数据并行在Pytorch中的实现。
科研第五步：如何使用DDP分布式多GPU并行跑pytorch深度学习训练
fs1341825137的博客
03-04 6308
DDP分布式多GPU并行跑pytorch深度学习模型 多卡并行代码模板 文章目录DDP分布式多GPU并行跑pytorch深度学习模型前言一、DDP怎么用二、使用步骤1.引入库2.读入数据总结 前言 PyTorch的数据并行相对于TensorFlow而言，要简单的多，主要分成两个API： DataParallel（DP）：Parameter Server模式，一张卡为reducer，实现也超级简单，一行代码。 DistributedDataParallel（DDP）：All-Reduce模式，本意是用来分布式
PyTorch数据并行（DP/DDP）浅析
强化学习曾小健
08-06 1151
与每个step一个batch数据相比，数据并行是指每个step用更多的数据多个batch）进行计算——即多个batch的数据并行进行前向计算。既然是并行，那么就涉及到多张卡一起计算。单卡和多卡训练过程如下图[1]各卡分别计算损失和梯度，即图中红线部分；所以梯度整合到主device，即图中蓝线部分；主device进行参数更新，并将新模型拷贝到其他device上，即图中绿线部分。左图是单GPU训练；右图是多GPU训练的一个变体。
多GPU并行训练 tensorflow demo
08-10
神经网络 深度学习 多GPU并行训练 tensorflow demo MNIST
Pytorch 并行训练（DP， DDP）的原理和应用
热门推荐
生命在于折腾！
09-27 2万+
Pytorch 并行训练（DP， DDP）的原理和应用 1. 前言 并行训练可以分为数据并行和模型并行。 模型并行 模型并行主要应用于模型相比显存来说更大，一块 device 无法加载的场景，通过把模型切割为几个部分，分别加载到不同的 device 上。比如早期的 AlexNet，当时限于显卡，模型就是分别加载在两块显卡上的。 数据并行 这个是日常会应用的比较多的情况。每一个 device 上会加载一份模型，然后把数据分发到每个 device 并行进行计算，加快训练速度。 如果要再细分，又可以分
GPU多卡并行技术
hello.reader
09-26 3022
GPU（Graphics Processing Unit），最初用于加速图形渲染任务，随着计算机硬件的发展，逐渐成为高性能计算（High-Performance Computing, HPC）和深度学习中的核心组件。与CPU相比，GPU在处理大规模并行任务时具有显著优势。大规模并行计算能力：GPU包含数千个处理核心，可以同时处理大量并行任务。这使其在计算密集型任务（如矩阵运算、向量计算）中比传统的多核CPU更高效。高带宽存储。
多gpu并行训练
Woody453253的博客
02-20 135
gpu
多GPU并行训练
laner__gg的博客
08-05 4179
1.常见的多GPU使用方法： 模型并行，数据并行。 模型并行，可用于训练大型网络，模型分块进行训练，对于训练速度影响不大。数据并行，相当于加大了batchsize的数量，加快了训练速度。 2.数据在不同设备之间如何分配？ 误差如何在不同设备之间通讯? 每一不个step求梯度之后，会把不同的GPU之间的梯度求平均。 BN如何在不同设备间同步？ 在不同设备间同步计算均值和方差时，需要计算所有的特征矩阵(多个GPU的总和)在每一个channel上的均值和方差，可提升约一个点的精度。但训练速度会降低。 每个BN
GPU多卡并行训练
豆子
03-01 261
https://www.i4k.xyz/article/Sophia_11/119950262
pytorch 多机多卡训练
03-20
### 多机多卡训练的基础概念 在PyTorch中，`torch.distributed` 是用于实现分布式训练的核心模块[^1]。它支持多种后端（如 `gloo`, `mpi`, 和 `nccl`），并允许开发者灵活配置通信方式以适应不同的硬件环境。 #### 初始化分布式环境 要启动一个多机多卡的训练过程，首先需要初始化分布式环境。这通常通过设置 `init_method` 参数完成，可以指定为文件路径或URL地址以便各进程同步状态[^4]。以下是典型的初始化代码： ```python import torch import torch.distributed as dist from torch.nn.parallel import DistributedDataParallel as DDP def setup_distributed(rank, world_size): # 设置默认的GPU设备 torch.cuda.set_device(rank) # 初始化进程组 dist.init_process_group( backend='nccl', # 使用NCCL作为后端 init_method='env://', world_size=world_size, rank=rank ) ``` #### 构建分布式模型 一旦分布式环境被成功初始化，就可以使用 `DistributedDataParallel` 来封装模型实例[^2]。这样做的目的是让每个进程只负责一部分计算负载，并通过高效的参数同步机制保持一致性。 ```python model = YourModel().to(rank) ddp_model = DDP(model, device_ids=[rank]) ``` 上述代码片段展示了如何将自定义模型转换成适合分布式的版本。注意这里指定了 `device_ids` 参数，确保每张显卡仅处理属于自己的那一部分输入数据。 #### 数据加载器调整 对于大规模的数据集来说，在多个节点上共享相同的数据可能会带来额外开销甚至冲突风险。因此推荐采用专门设计过的 `DistributedSampler` 类型采样器来替代普通的随机采样策略。 ```python train_sampler = torch.utils.data.distributed.DistributedSampler(dataset) dataloader = torch.utils.data.DataLoader( dataset, batch_size=batch_size, shuffle=False, # 当启用sampler时应禁用手动shuffle操作 num_workers=num_workers, sampler=train_sampler ) ``` 以上就是关于PyTorch下执行跨服务器间协同工作的基本流程介绍[^1]。值得注意的是虽然本文提到的方法主要针对GPU场景进行了优化讨论，但实际上整个框架同样适用于纯CPU架构下的情况只是性能表现会有所差异而已。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值