Pytorch 分布式训练心得（DP|DDP|MP）

已于 2022-04-10 17:10:00 修改
阅读量2.1k 收藏
点赞数
分类专栏： 神经网络 文章标签： pytorch
于 2022-04-10 16:59:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mengfanbing/article/details/124080951
版权

记得接触DistributedDataParallel（DDP）之前，自己一直用DataParallel（DP）跑多卡，浪费了不少时间，恰好最近几天接触到了Swin-Transformer就尝试了下DDP,如下是心得。

首先呢，我是在云端租的服务器尝试了单机2、4、8卡训练，采用命令行调用DDP后发现它一直卡在装载模型上占用了GPU显存，必须kill PID才行，也考虑到我习惯用python train.py的方式，就使用了MultiProcessing（MP)的方式，最终成功，关于其具体的实现过程大家可以看看其他博客的做法。我这里考虑到Pertrain 的模型是没用apex的，使用后loss 会从1e+7左右下降，等待时间未免有些得不偿失，还看到有的博主说DDP和apex对model加速差别不大，我就决定用MP了。我这里主要就是DP->DDP->MP+torch的reduce loss+多线程BN(没用apex的是因为没用它加速）

其次，根据我的实验发现，在不考虑装载的时间MP比DP在4卡上大致快了1/4，但与此同时其将Batch_size也缩小了4倍（我认为只要显卡能承受，这样就是比较好的，小batch_size跟稳定，结果也更好一些），要是考虑到装载时间，ennnn,那也还好（除了8卡机，我再一次卡在装载界面，现在还不确定是哪方面的问题，不行的话，就只能租4卡机了）

当然，我对自己的编程能力还没有那么自信，上诉结果可能是因为自己写错了代码，后续还需要根据实验结果看下是否正确）

————————————

废话：在我写完博客再去看8卡机的时候，发现它开始train了，开心（但是它的速度没有变成4卡机的2倍，稍微慢了12.5%）

CV 炼丹师
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Pytorch分布式训练教程
03-30
Pytorch分布式训练教程
Pytorch 并行训练（DP， DDP）的原理和应用
热门推荐
生命在于折腾！
09-27 1万+
Pytorch 并行训练（DP， DDP）的原理和应用 1. 前言 并行训练可以分为数据并行和模型并行。 模型并行 模型并行主要应用于模型相比显存来说更大，一块 device 无法加载的场景，通过把模型切割为几个部分，分别加载到不同的 device 上。比如早期的 AlexNet，当时限于显卡，模型就是分别加载在两块显卡上的。 数据并行 这个是日常会应用的比较多的情况。每一个 device 上会加载一份模型，然后把数据分发到每个 device 并行进行计算，加快训练速度。 如果要再细分，又可以分
PyTorch 体验感悟
mikewzp的博客
03-20 1923
首先，它的张量传递确实更灵活、可以自由变形。这点tensorflow1.0哪怕借用了Keras，也不能随意调换（如Batch) 然后说一下Pytorch的特点： 在模型架构上，虽然两者都有许多共同的函数方法：Conv2D, Sequential, Batchnorm1d, Flatten, Relu, Softmax。前者在nn.LSTM，后者在keras.models。用法也大同小异，但是在传递参数上需要指定输入维度，而tensorflow仅告诉输出维度就行。看似小的不同，却能反映出设计理念上的差异：
实验总结-Pytorch 使用时的小技巧
kingsleyluoxin的博客
10-24 440
1. 固定网络的部分参数进行训练 简单方法，插入 with 块中，则块中的部分不会更新参数 s1 = torch.tensor([1.]) s2 = torch.tensor([1.]) with torch.no_grad(): s3 = s1 + s2 第一种方法不适用时，可以根据 model.children() 查看模型所有参数，从中选择将部分网络的 requires_gr...
pytorch学习小总结(一)
lingffffighting的博客
04-18 838
pytorch学习小总结(一) 模型保存以及加载 保存模型有两种方式： 1、保存整个模型 def save_checkpoint(path, model, optimizer): torch.save(model, path) 对应的加载代码为： cnn_model=torch.load(path) 2、只保存网络以及优化器的参数等数据 def save_checkpoint(path, model, optimizer): state = { 'model': model.
Pytorch学习总结
fxz69的博客
06-01 1127
Pytorch学习总结数据处理模型其他函数 Pytorch作为深度学习的框架之一，提供了许多模型，如CNN、RNN、LSTM等。它通过将模型封装，简化了用户操作，极大的方便用户。通过学习《PyTorch深度学习》和PyTorch文档，我将学到的知识进行总结。 对于实际问题，我们需要数据、模型、以及其他辅助函数进行解决。我下面主要从这三个方面总结所学的知识。 数据处理 在介绍数据处理前，我们需要知道PyTorch所能处理的数据对象。 1.Tensor 为了提高运算速度，PyTorch和numpy一样，提供了一
NNDL 实验二 pytorch入门
staceey的博客
09-11 605
NNDL 实验二 pytorch入门
PyTorch Elastic ：PyTorch分布式训练框架-python
06-18
PyTorch Elastic ：PyTorch分布式训练框架 TorchElastic TorchElastic 允许您以容错和弹性的方式启动分布式 PyTorch 作业。 有关最新文档，请参阅我们的网站。 要求 torchelastic 需要 python3 (3.6+) torch etcd ...
AI换脸检测算法实现-检测是否是经过AI换脸生成的图像-支持Pytorch分布式训练-优质项目实战.zip
03-26
AI换脸检测算法实现_检测是否是经过AI换脸生成的图像_支持Pytorch分布式训练_优质项目实战
基于pytorch的单机多卡分布式训练源码
09-06
基于pytorch的单机多卡分布式训练源码，已经测试可用，找了很多资料，这个可以完美适用于单机多卡的训练。 注意，是非常完美地适用于单机多卡的训练！！！
Pytorch复现经典扩散模型DDPM&DDIM&PLMS及分布式训练应用
qq_43226466的博客
08-15 3830
当前，生成式人工智能（AIGC）大模型已被越来越广泛应用在工业、动漫业、设计业等诸多场景。本文根据经典扩散模型DDPM、DDIM和PLMS进行了代码层面的详细解读和复现，并实现了多机多卡分布式训练。
Pointnet++改进即插即用系列：全网首发KAN替换多层感知器|即插即用，提升特征提取模块性能
最新发布
m0_51530640的博客
05-20 6
受Kolmogorov-Arnold表示定理的启发，我们提出Kolmogorov-Arnold网络(KANs)作为多层感知器(mlp)的有前途的替代品。mlp在节点(“神经元”)上有固定的激活函数，而kan在边缘(“权重”)上有可学习的激活函数。kan根本没有线性权重——每个权重参数都被参数化为样条的单变量函数所取代。我们表明，这个看似简单的改变使得KANs在准确性和可解释性方面优于mlp。就准确性而言，在数据拟合和PDE求解方面，更小的kan可以达到与更大的mlp相当或更好的准确性。
Pytorch实用教程：随机数相关函数：torch.rand()、torch.randn()、torch.randint()用法介绍
惊鸿若梦一书生
05-20 5
Pytorch实用教程：随机数相关函数：torch.rand()、torch.randn()、torch.randint()用法介绍
pytorch的点积、矩阵乘法、逐元素乘法
qq_44815135的博客
05-20 188
在 PyTorch 中，可以使用 torch.mul()、torch.multiply() 或直接使用 * 运算符来执行张量的逐元素相乘操作。
pytorch使用gpu训练模型
njh1147394013的博客
05-20 77
安装gpu版本pytorch
PyTorch与Weights & Biases：使用wandb训练与评估的日志和实操【附代码！】
xiaoh_7的博客
05-20 70
借助wandb，您可以轻松追踪实验进展，比较不同模型的性能，从而加速模型优化和迭代过程。无论您是PyTorch的新手还是资深用户，这个博客都将为您提供宝贵的见解和实用的技巧。
pytorch之chunk与split函数总结
yueguang8的博客
05-17 711
chunk()和split()这两个函数都可以将张量按照指定的维度拆分成多个子张量。它们的主要区别在于返回值和拆分方式。文章详细介绍了其使用方法及示例。
深度学习之基于Pytorch的昆虫分类识别系统
qq1744828575的博客
05-17 458
一、项目背景昆虫分类识别是生态学、农业和生物多样性保护等领域的重要任务。然而，传统的昆虫分类方法依赖于专家的经验和知识，效率低下且容易出错。随着深度学习技术的快速发展，基于卷积神经网络（CNN）的图像分类方法被广泛应用于昆虫分类识别中。本项目旨在利用PyTorch深度学习框架，构建一个高效、准确的昆虫分类识别系统，实现对昆虫图像的自动分类和识别。二、技术组成PyTorch框架：PyTorch是一个开源的深度学习框架，具有简洁易用的API和强大的计算能力。
pytorch分布式处理
08-14
回答: 在PyTorch中，可以使用分布式处理来加速训练过程。PyTorch提供了torch.distributed包来支持分布式处理。通过初始化torch.distributed.init_process_group函数来设置进程组，指定后端（如nccl）和初始化方法（如env://）。同时，可以使用torch.distributed.launch来启动多个GPU进程，并使用args.local_rank参数来分配模型。另外，还可以通过torch.distributed.get_rank()函数获取进程的ID。如果想了解更多关于参数和方法的详细信息，可以查阅PyTorch官方文档中的torch.distributed软件包部分。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [Pytorch 分布式训练（DP/DDP）](https://blog.csdn.net/ytusdc/article/details/122091284)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值