pytorch 多GPU训练总结（DataParallel的使用）

最新推荐文章于 2024-05-09 14:14:03 发布
最新推荐文章于 2024-05-09 14:14:03 发布
阅读量8.1w 收藏 354
点赞数 80
分类专栏： Python 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40087578/article/details/87186613
版权

这里记录用pytorch 多GPU训练 踩过的许多坑   仅针对单服务器多gpu 数据并行 而不是 多机器分布式训练

一、官方思路包装模型

官方原理图

这是pytorch 官方的原理图  按照这个官方的原理图  修改应该参照

https://blog.csdn.net/qq_19598705/article/details/80396325

上文也用dataParallel 包装了optimizer, 对照官方原理图中第二行第二个，将梯度分发出去，将每个模型上的梯度更新（第二行第三个），然后再将更新完梯度的模型参数合并到主gpu(第二行最后一个步骤)

其实完全没必要，因为每次前向传播的时候都会分发模型，用不着反向传播时将梯度loss分发到各个GPU，单独计算梯度，再合并模型。可以就在主GPU 上根据总loss 更新模型的梯度，不用再同步其他GPU上的模型，因为前向传播的时候会分发模型。

所以 上述链接里 不用 dataParallel 包装 optimizer。       

DataParalle

最低0.47元/天 解锁文章
lllily
关注
  • 80
    点赞
  • 踩
  • 354
    收藏
    觉得还不错? 一键收藏
  • 16
    评论
专栏目录
深度学习平台demo(五）- c#调用python方式完成训练和预测
jiugeshao的专栏
01-02 3591
在前面系列博客基础上，来继续完善博客https://blog.csdn.net/jiugeshao/article/details/111768401中的程序，使得c#可以通过调用python来完成模型的训练，训练完毕后可以实时预测一张图像的结果。 1.界面改为： 2. 代码中的引用类如下： using System; using System.Collections.Generic; using System.ComponentModel; using System.Data; using S
关于C#调用python文件将python控制台输出到C#控制台
weixin_45251143的博客
07-15 810
并且记录一个C#调用的python文件内需要pytorch包的报错，表现为在pycharm内单独运行python文件，可以正常运行；怀疑原因1.师弟安装anaconda的时候建了一个名字为1的文件夹，把anaconda装里面，不知道可能对后续调用有影响？2.pytorch版本与python版本有冲突？本次解决办法重装anaconda、pytorch后调用正常。.........
Pytorch的nn.DataParallel详细解析
qq_38410428的博客
08-04 2万+
前言 pytorch中的GPU操作默认是异步的，当调用一个使用GPU的函数时，这些操作会在特定设备上排队但不一定在稍后执行。这就使得pytorch可以进行并行计算。但是pytorch异步计算的效果对调用者是不可见的。 但平时我们用的更多其实是多GPU的并行计算，例如使用多个GPU训练同一个模型。Pytorch中的多GPU并行计算是数据级并行，相当于开了多个进程，每个进程自己独立运行，然后再整合在一起。 device_ids = [0, 1] net = torch.nn.DataParallel(net,
如何使用 PyTorch 实现多GPU训练？
coszhuang的博客
05-01 825
该模块将模型复制到每个GPU上，自动拆分输入数据，并在每个GPU上计算梯度。多GPU训练的核心原理是将模型参数和计算任务分配到不同的GPU上，并利用并行计算的优势加速训练过程。分发数据并计算梯度：在每个GPU上分发输入数据，并在每个GPU上计算模型的输出和梯度。通过以上步骤，我们成功地实现了PyTorch中的多GPU训练，并且加速了模型训练过程。在每个训练迭代中，将输入数据和标签移动到GPU上，并在每个GPU上计算损失和梯度。梯度汇总和参数更新：将各个GPU上的梯度汇总，并使用汇总的梯度更新模型参数。
使用torch完成多卡训练
最新发布
Edward__J的博客
05-09 1102
因为我这个gpu进程得到的是这个进程上数据的loss，比如我有四张卡，第一张卡上batch size有64个数据，会产生一个loss，但是四张卡按理来说是256的batch size，我们的做法应该是把四张卡的loss加起来除以四。我不太懂，希望有明白的佬提点一下。第一个是torch.utils.data.DistributedSampler，这函数的就是给不同的gpu分配不通的数据，简单来说就是把编号1，3，5，...的数据分给gpu0，2，4，8，...分给gpu2等等，这一步只是把索引给分好。
Pytorch之训练的完整过程(最终篇)
记录学习的小白
04-18 1万+
先引入库（事实上是在构建时引入的）note9_train.py import torchvision from torch.utils.tensorboard import SummaryWriter from note9_LeNet import * from torch import nn from torch.utils.data import DataLoader 其中note9_LeNet中存放的是之前的模型文件，大多数情况也这么引入 note9_LeNet.py import tor
PyTorch并行与分布式(三)DataParallel原理、源码解析、举例实战
小小何先生的学习之旅
12-12 3761
文章目录简要概览源码解析实例 简要概览   pytorch官方提供的数据并行类为： torch.nn.DataParallel(module, device_ids=None, output_device=None, dim=0)   当给定model时，主要实现功能是将input数据依据batch的这个维度，将数据划分到指定的设备上。其他的对象(objects)复制到每个设备上。在前向传播的过程中，module被复制到每个设备上，每个复制的副本处理一部分输入数据。在反向传播过程中，每个副本module的
【pytorch】torch.nn.DataParallel用法详解
热门推荐
sazass的博客
05-10 4万+
参考博客： https://blog.csdn.net/baidu_35120637/article/details/110785801 https://blog.csdn.net/zhjm07054115/article/details/104799661 https://blog.csdn.net/anshiquanshu/article/details/108186955 在多卡的GPU服务器，当我们在上面跑程序的时候，当迭代次数或者epoch足够大的时候，我们通常会使用nn.DataParallel
LSTM多GPU训练、pytorch 多GPU 数据并行模式
10-25
在PyTorch中，LSTM（长短期记忆...总结起来，成功地在PyTorch中进行LSTM的多GPU训练需要理解设备管理、数据并行化、隐藏状态的初始化以及模型的正确使用。通过解决上述问题，你可以有效地利用多GPU资源加速模型训练。
关于pytorch多GPU训练实例与性能对比分析
09-18
总结来说，PyTorch中的多GPU训练能显著提高训练效率，但需要合理调整参数以保证训练效果。`nn.DataParallel`提供了一种快速实现多GPU训练的方法，但可能不是最优化的解决方案。对于大规模的分布式训练，`nn.parallel...
pytorch 指定gpu训练与多gpu并行训练示例
09-18
总结，PyTorch 提供了简单易用的接口来指定GPU训练和实现多GPU并行训练，这极大地提高了深度学习模型的训练效率。通过合理利用这些功能，开发者可以更高效地利用硬件资源，快速优化和训练复杂的深度学习模型。
Balanced-DataParallel:这里是改进了pytorch的DataParallel，使用了平衡第一个GPU的显存使用量
03-21
平衡数据并行 这里是改进了pytorch的DataParallel，使用了平衡第一个GPU的显存使用量 本代码来自transformer-XL： : 代码不是本人写的，但是感觉很好用，就分享一下。 怎么使用： 这个BalancedDataParallel类使用起来和DataParallel类似，下面是一个示例代码： my_net = MyNet() my_net = BalancedDataParallel(gpu0_bsz // acc_grad, my_net, dim=0).cuda() 这里包含三个参数，第一个参数是第一个GPU要分配多大的batch_size，但是要注意，如果您使用了渐变累积，那么此处替换的是每次进行运算的实际batch_size大小。举个例子，比如你在3个GPU上面跑代码，但是一个GPU最大只能跑3条数据，但是因为0号GPU还要做一些数据的整合操作，于是0
pytorch 单机多GPU训练RNN遇到的问题
01-06
在使用DataParallel训练中遇到的一些问题。 1.模型无法识别自定义模块。 如图示，会出现如AttributeError: ‘DataParallel’ object has no attribute ‘xxx’的错误。 原因：在使用net = torch.nn.DataParallel...
DataParallel（DP） and DistributedDataParallel （DDP）的区别
ZauberC的博客
08-01 312
First,DataParallelissingle-process,multi-thread,andonlyworksonasinglemachine,whileDistributedDataParallelismulti-processandworksforbothsingle-andmulti-machinetraining.DataParallelisusuallyslowerthanDistributedDataParallelevenonasinglemachineduetoGILconten。
Pytorch分布式训练/多卡训练(一) —— Data Parallel并行(DP)
hxxjxw的博客
03-25 1万+
注意 .to(device)就是把数据从内存放到GPU显存
Pytorch分布式训练/多卡训练(二) —— Data Parallel并行(DDP)(2.1)(基本概念&代码框架)
hxxjxw的博客
08-18 4208
Pytorch官网已经建议使用DistributedDataParallel来代替DataParallel, 因为DistributedDataParallel比DataParallel运行的更快, 然后显存分配的更加均衡. 而且DistributedDataParallel功能更加强悍 DDP与DP的区别 ①DataLoader部分需要使用Sampler，保证不同GPU卡处理独立的子集. ②模型部分使用DistributedDataParallel. DDP的主要代码部分 .......
nn.DataParallel使用注意
Njhbsj的博客
03-14 726
nn.DataParallel 如果默认不是序号0的话需要添加 os.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID" os.environ["CUDA_VISIBLE_DEVICES"] = "2, 3" device_ids = [0, 1] model = torch.nn.DataParallel(net, device_ids=device_ids) model.cuda() 优化器同样可以 optimizer = torch.optim.SGD(ne
【NLP相关】PyTorch多GPU并行训练（DataParallel和DistributedDataParallel介绍、单机多卡和多机多卡案例展示）
Chaos的博客
03-04 3488
当下深度学习应用越来越广泛，训练规模也越来越大，需要更快速的训练速度来满足需求。而多GPU并行训练是实现训练加速的一种常见方式，本文将介绍如何使用PyTorch进行多GPU并行训练。
pytorch模型训练单机多卡(二)：数据并行DataParallel
凝眸伏笔的博客
07-10 2563
1.并行处理机制 DataParallel系统通过将整个小型批处理加载到主线程上，然后将子小型批处理分散到整个GPU网络中来工作。 具体是将输入一个 batch 的数据均分成多份，分别送到对应的 GPU 进行计算。与 Module 相关的所有数据也都会以浅复制的方式复制多份。每个 GPU 在单独的线程上将针对各自的输入数据独立并行地进行 forward 计算。然后在主GPU上收集网络输出，并通过将网络输出与批次中每个元素的真实数据标签进行比较来计算损失函数值。接下来，损失值分散给各个GPU，每个GPU进
写出pytorch多gpu训练的代码
03-10
以下是使用 PyTorch 进行多 GPU 训练的示例代码： ```python import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoader from torchvision.datasets import CIFAR...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 16
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值