DataParallel实用技巧之1ToN数据存储

已于 2022-08-31 14:26:36 修改
阅读量136 收藏
点赞数 1
分类专栏： torch 文章标签： 深度学习 python 人工智能 pytorch
于 2022-08-31 14:21:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40925006/article/details/126622936
版权

最近学习torch框架，发现大部分开发人员习惯上使用DataParallel训练时会首先把data放入主卡，然后由框架本身自带的功能去把它分发到其他卡中，输出设备默认为主卡，这样后续操作堪称无脑，能够有效提高并行能力，但是这里有一个问题就在于主卡作为输出设备和数据分发设备，但是主卡一定比子卡多更多的存储数据，而主卡和子卡显存使用差就是子卡的浪费空间，开的卡越多越明显。通过读源码我发现torch支持数据从任意设备传输，在forward时候对数据进行分配，那我们可以将数据首先不放入主卡中，另外就是输出设备可以改变位置，那么我也可以将输出设备拿出来，我将数据和输出数据放在了单独一张卡，这样做的好处是计算损失函数、精确度会很简单，负责计算的GPU不会因为某张卡有更多的数据而限制其他卡的使用空间.但是他的坏处是由于loss在数据卡上，loss.backward并不会占用太多的计算机量，所以大部分时间数据卡的利用率为0。这种方法适合数据比较大，还想通过gpu加速的场景，GPU越多平均利用率损耗月低，不适用于一般的场景

 

 

EV.LIU
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
pytorch 多GPU训练总结（DataParallel的使用）
爱在深秋
09-02 1116
博主最近搭建网络的时候，需要调用不同的GPU，实现训练的加速，有时间会出现显卡现存分布不均的情况，有时间有的显卡温度特别高。[source]在模块级别上实现数据并行。此容器通过将mini-batch划分到不同的设备上来实现给定module的并行。在forward过程中，module会在每个设备上都复制一遍，每个副本都会处理部分输入。在backward过程中，副本上的梯度会累加到原始module上。batch的大小应该大于所使用的GPU的数量。
动手学深度学习——数据并行，nn.DataParallel
iwill323的博客
09-25 2148
数据并行案例 nn.DataParallel
PyTorch-4 nn.DataParallel 数据并行详解
热门推荐
海尔兄弟的博客
03-11 1万+
本文源自 http://studyai.com/pytorch-1.4/beginner/blitz/data_parallel_tutorial.html 在本教程中，我们将学习如何使用多个GPU： DataParallel 的用法. 与PyTorch一起使用GPU非常容易。您可以将模型放在GPU上: device = torch.device("cuda:0") model...
数据并行：torch.nn.DataParallel的数据并行原理
Corleone26的博客
04-10 580
优化器则对梯度进行聚合，在主GPU更新模型参数，再把新的参数分发到每个GPU。当然数据并行也可以选择主GPU分发梯度(直接接受梯度，加和，分发，标准的all_reduce)，这样每个GPU分别更新参数，理论上效果相同。把输入和label都分别分发到不同的卡上，然后每个卡可以分别计算自己的loss，然后all_reduce一次loss(简单的加和再分发)，之后每张卡分别更新自己的梯度即可。将各个GPU上计算得到的梯度加和，并在主GPU上更新模型参数，然后将更新后的参数分发到每个GPU上。
pytorch模型训练单机多卡(二)：数据并行DataParallel
凝眸伏笔的博客
07-10 2564
1.并行处理机制 DataParallel系统通过将整个小型批处理加载到主线程上，然后将子小型批处理分散到整个GPU网络中来工作。 具体是将输入一个 batch 的数据均分成多份，分别送到对应的 GPU 进行计算。与 Module 相关的所有数据也都会以浅复制的方式复制多份。每个 GPU 在单独的线程上将针对各自的输入数据独立并行地进行 forward 计算。然后在主GPU上收集网络输出，并通过将网络输出与批次中每个元素的真实数据标签进行比较来计算损失函数值。接下来，损失值分散给各个GPU，每个GPU进
Data Parallel 的那些事儿（梯度计算、同步 BN ......）
qq_36627158的博客
02-20 2000
0、写在前面 本文是一个学习链接博客。网上已有许多参考文档，故不再重复。我从找到的学习链接中筛选出我认为写得清晰、通俗易懂的部分截取给大家，并加上了我学习过程中的笔记标注。来源已标注，感谢各位大佬博主！ 1、Data Parallel 工作原理 & 梯度计算 pytorch多gpu DataParallel 及梯度累加解决显存不平衡和显存不足问题_gaoyelu的博客-CSDN博客 2、Data Parallel 暂时没有 PyTorch 官方的同步，但 DD..
物联网数据集CIC IoT Dataset 2023和（TON-IoT）、以及网络数据集UNSW-NB15 Dataset 私聊
06-08
TON_IoT数据集是一种新型的物联网（IoT）网络测试平台架构，可以用来评估人工智能（AI）安全应用程序。该平台采用了NSX vCloud NFV来支持软件定义网络（SDN）、网络功能虚拟化（NFV）和服务编排（SO），它包含了从...
辅助开关管的两次开通时间Ton1和Ton2的计算
01-19
　Va的导通时间Ton1为 　Tr<Ton1<3/4Tr 　为了使主开关管V1零电流开通，辅助开关管第二次 开通，开通时刻应提前于V1开通时刻，即在t6时刻再次 开通Va，其提前量为： 　td2=3/4Tr 　Va的导通时间Ton2为：...
codesys中TON功能块（timer）共1页.pdf
10-29
TON是IEC 61131-3标准中的定时器类型之一，主要用于计时任务，当接收到启动输入时开始计时，并在达到预设时间后触发一个输出。下面我们将深入探讨TON功能块的工作原理、参数设置以及在Codesys中的应用。 首先，我们...
ton-client-java:TON-SDK客户端的Java库
04-30
TON客户端的Java库 该库是用Java编写的的绑定，它充当TONOS客户端和Java应用程序之间的桥梁。 该库包括原始的TONOS库，并集成了对支持，该允许从Java虚拟机直接访问TONOS客户端。 代码生成 大部分库源代码是由api....
Pytorch 加载和保存模型
CSDN1HAO的博客
05-09 897
截取自PyTorch官方教程中文版，这书好像是拼接的，没有页码。 其中一个版本地址：http://www.pytorch123.com/SecondSection/what_is_pytorch/，好像没有我下载的这本全 保存和加载模型 当保存和加载模型时，需要熟悉三个核心功能： torch.save ：将序列化对象保存到磁盘。此函数使用Python的 pickle 模块进行序列化。使用此函数可以保存如模型、tensor、 ...
Pytorch 单机多GPU训练 DataParallel和DistributedDataParallel
qq_41021141的博客
11-04 540
1、原理 2、实现 os.environ['CUDA_VISIBLE_DEVICES'] = '2, 7' # 设置可见GPU编号 # device_ids=range(torch.cuda.device_count()) # torch.cuda.device_count()=2 # device_ids=[0,1] 这里的0 就是上述指定 2，是默认主gpu, 1就是7,模型和数据由主gpu分发 model = Model(...) if torch.cuda.device_count.
pytorch DataParallel 数据对象分割问题
3D的博客
06-16 1359
报错信息： RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cuda:0 and cuda:1! 问题原因： 传入模型的数据格式为对象（object），
【Pytorch】单机多卡数据并行DataParallel
小苏打的学习博客
05-07 4514
单卡多级的模型训练，即并行训练，可分为数据并行和模型并行两种. 数据并行是指，多张 GPUs 使用相同的模型副本，但采用不同 batch 的数据进行训练. 模型并行是指，多张 GPUs 使用同一 batch 的数据，分别训练模型的不同部分. 如图： 1. DataParallel 简述 pytorch 默认只用一个 GPU，但采用 DataParallel很便于使用多 GPUs 的. import os os.environ["CUDA_VISIBLE_DEVICES"] = "1,2" # 注: 多卡
PyTorch 单机多卡操作总结：分布式DataParallel，混合精度，Horovod)
3D视觉工坊
10-20 7152
点击上方“3D视觉工坊”，选择“星标”干货第一时间送达作者丨科技猛兽@知乎来源丨https://zhuanlan.zhihu.com/p/158375055编辑丨极市平台导读本文介绍了...
多卡训练DataParallel和DistributedDataParallel的使用和区别
10-11 3279
分布式训练，DataParallel，DistributedDataParallel，DP，DDP，init_process_group，单机单卡，单机多卡，多机多卡
DataParallel 和 DistributedDataParallel 的区别和使用方法
Golden-sun的博客
04-12 8338
1.DataParallel DataParallel更易于使用（只需简单包装单GPU模型）。然而，由于它使用一个进程来计算模型权重，然后在每个批处理期间将分发到每个GPU，因此通信很快成为一个瓶颈，GPU利用率通常很低。 nn.DataParallel要求所有的GPU都在同一个节点上（不支持分布式），而且不能使用Apex进行混合精度训练。 https://zhuanlan.zhihu.com/p/113694038 1.DistributedDataParallel支持模型并行，而DataParallel
DataParallel使用
qq_37950540的博客
06-08 3455
DataParallel' object has no attribute https://github.com/yysijie/st-gcn/issues/83 self.model.extract_feature -> self.model.module.extract_feature pytorch 多GPU训练总结（DataParallel的使用） https://blog...
CODESYS,TIME_TON数据类型
最新发布
09-27
在CODESYS中，TIME_TON是一个用于定时器功能的数据类型。它代表了一个基于时间的延时或定时操作。TIME_TON数据类型是一个结构体，包含了以下几个属性： 1. PT: 时间常数，用于指定定时器的预设时间长度。 2. IN: ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

EV.LIU

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值