Data Parallel 的那些事儿（梯度计算、同步 BN ......）

最新推荐文章于 2024-03-14 14:52:11 发布
最新推荐文章于 2024-03-14 14:52:11 发布
阅读量2k 收藏 3
点赞数 1
分类专栏： 学习 人工智能 PyTorch 文章标签： pytorch 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36627158/article/details/123033954
版权
学习 同时被 3 个专栏收录
115 篇文章 7 订阅
订阅专栏
人工智能
72 篇文章 4 订阅
订阅专栏
PyTorch
16 篇文章 4 订阅
订阅专栏

0、写在前面

本文是一个学习链接博客。网上已有许多参考文档，故不再重复。我从找到的学习链接中筛选出我认为写得清晰、通俗易懂的部分截取给大家，并加上了我学习过程中的笔记标注。来源已标注，感谢各位大佬博主！

1、Data Parallel 工作原理 & 梯度计算

pytorch多gpu DataParallel 及梯度累加解决显存不平衡和显存不足问题_gaoyelu的博客-CSDN博客

2、Data Parallel 暂时没有 PyTorch 官方的同步，但 DDP 有。

DataParallel下的Batch Normalization_44070509的博客-CSDN博客

3、Data Parallel 的 BN 层前向计算示意图

Pytorch多GPU的计算和Sync BatchNorm - 知乎

4、BN 的前向、反向传播及其计算公式

BN(Batch Normalization)与Multi-GPU BN - AI备忘录

5、SyncBN 的前向、反向传播及其计算公式

BN(Batch Normalization)与Multi-GPU BN - AI备忘录

小吴同学真棒
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
5_data_parallel_tutorial.ipynb
07-21
官方网站的[Deep Learning with PyTorch: A 60 Minute Blitz] (https://pytorch.org/tutorials/beginner/deep_learning_60min_blitz.html)的中文翻译
C#并发实战记录之Parallel.ForEach使用
08-25
本篇文章详细介绍了C#并发实战记录之Parallel.ForEach使用的相关知识点，包括使用Parallel.ForEach优化循环计算、Parallel.ForEach的使用方法、变量自增问题的解决方法和Interlocked.Increment方法的使用。...
PyTorch并行与分布式(三)DataParallel原理、源码解析、举例实战
小小何先生的学习之旅
12-12 3763
文章目录简要概览源码解析实例 简要概览   pytorch官方提供的数据并行类为： torch.nn.DataParallel(module, device_ids=None, output_device=None, dim=0)   当给定model时，主要实现功能是将input数据依据batch的这个维度，将数据划分到指定的设备上。其他的对象(objects)复制到每个设备上。在前向传播的过程中，module被复制到每个设备上，每个复制的副本处理一部分输入数据。在反向传播过程中，每个副本module的
Pytorch分布式训练/多卡训练(一) —— Data Parallel并行(DP)
hxxjxw的博客
03-25 1万+
注意 .to(device)就是把数据从内存放到GPU显存
Pytorch分布式训练/多卡训练(二) —— Data Parallel并行(DDP)(2.1)(基本概念&代码框架)
hxxjxw的博客
08-18 4217
Pytorch官网已经建议使用DistributedDataParallel来代替DataParallel, 因为DistributedDataParallel比DataParallel运行的更快, 然后显存分配的更加均衡. 而且DistributedDataParallel功能更加强悍 DDP与DP的区别 ①DataLoader部分需要使用Sampler，保证不同GPU卡处理独立的子集. ②模型部分使用DistributedDataParallel. DDP的主要代码部分 .......
Pytorch分布式训练/多卡训练(二) —— Data Parallel并行(DDP)(2.2)(代码示例)(BN同步&主卡保存&梯度累加&多卡测试inference&随机种子seed)
hxxjxw的博客
08-18 6590
DDP的使用非常简单，因为它不需要修改你网络的配置。其精髓只有一句话 model = DistributedDataPrallel(model, device_ids=[local_rank], output_device=local_rank) 原本的model就是你的PyTorch模型，新得到的model，就是你的DDP模型。 最重要的是，后续的模型关于前向传播、后向传播的用法，和原来完全一致！DDP把分布式训练的细节都隐藏起来了，不需要暴露给用户，非常优雅！ 初...........
Pytorch基础｜数据并行（DP）以及其Pytorch实现
最新发布
weixin_49659123的博客
03-14 1282
这篇文章将深入数据并行（Data Parallel，即常说的DP）的原理，并解析数据并行在Pytorch中的实现。
Parallel-Algorithm.docx.rar_K.
07-15
将带查询序列分成k段，可将待比对序列的索引表分成几部分，并将这几部分分别存放于几台计算机节点上。在每一台计算机节点上，源序列的子序列都只与本地的索引表中的每一子序列进行比较，而各计算机节点上的比较过程...
Multi_Parallel_Premium_v1.3.33.0108.apk
02-14
•消耗：Multi Parallel本身不会占用过多的内存，电池和数据，而这些内存，电池和数据实际上是在内部运行的应用程序消耗的。 •通知：请在系统通知设置中将“多并行”添加到白名单。 •数据和隐私：Multi Parallel...
Parallel Space Pro 4.0.8763.apk
04-11
Parallel Space Pro - 适用于Android的多帐户 同时克隆并运行同一个应用程序的多个帐户，并将自定义主题应用于克隆的应用程序！作为Android上排名第一的工具之一，Parallel Space APK可帮助超过4千万用户通过克隆...
Parallel.ForEach的卡死现象（线程操作问题C#源码实例）
10-31
然而，正如标题所指出的，`Parallel.ForEach`可能会遇到卡死的问题，这通常与线程同步、资源竞争或死锁有关。下面我们将深入探讨这个问题，并给出解决方案。 首先，`Parallel.ForEach`的卡死可能是由于未正确管理...
DataParallel、DataDistributedParallel、SyncBN、BN
专业主义
05-25 253
当使用 torch.nn.DataParallel 将代码运行在多张 GPU 卡上时，PyTorch 的 BN 层是非同步的，默认操作是各卡上数据独立地计算均值和标准差，并在单卡上维护自己的参数，只在每一个GPU上对样本进行归一化，相当于减少了batch size的大小，训练的时候实际的 BN 层的 batch-size 为B a t c h S i z e /G P U 数 量；如果batch size较大的时候不需要使用SyncBN，因为同步时GPU之间的通信会导致训练速度变慢。
（转）Net4.0 Parallel编程 Data Parallelism
weixin_30555125的博客
07-14 135
Thread-Local Variables 首先我们来看下线程局部变量，是的我们也许一直在想我们如何去定义一个线程局部变量呢。先看段顺序执行的代码： view source print? 01.[TestMethod()] 02.public void NormalSequenceTest() 03.{ 04.int[] nums = ...
DataParallel实用技巧之1ToN数据存储
qq_40925006的博客
08-31 136
数据并行处理之大规模数据的学习
DataParallel 和 DistributedDataParallel 的区别和使用方法
Golden-sun的博客
04-12 8337
1.DataParallel DataParallel更易于使用（只需简单包装单GPU模型）。然而，由于它使用一个进程来计算模型权重，然后在每个批处理期间将分发到每个GPU，因此通信很快成为一个瓶颈，GPU利用率通常很低。 nn.DataParallel要求所有的GPU都在同一个节点上（不支持分布式），而且不能使用Apex进行混合精度训练。 https://zhuanlan.zhihu.com/p/113694038 1.DistributedDataParallel支持模型并行，而DataParallel
DDP（DistributedDataParallel）细节
m0_46294481的博客
08-04 101
以下链接可见具体细节。
Datax抽取oracle大表问题
aline12的博客
11-17 1630
最近经常用到datax从oracle抽取大表到数仓hive 当表的数据量超过千万 很容易卡住 一直抽不过来 经过测试可以在querysql上加并行抽取 /*+ parallel(n) */ 基于并行查询要启动并行进程、分配任务与系统资源、合并结果集 一般而言主要在如下情况使用parallel 1.表的数据量很大,超过一千万; 2.数据库主机是多个CPU; 3.系统的当前负载较低; 但这个容易直接把资源占死 导致别人无法抽取业务数据库 需要做测试再正式上线 ...
【pytorch】torch.nn.DataParallel用法详解
热门推荐
sazass的博客
05-10 4万+
参考博客： https://blog.csdn.net/baidu_35120637/article/details/110785801 https://blog.csdn.net/zhjm07054115/article/details/104799661 https://blog.csdn.net/anshiquanshu/article/details/108186955 在多卡的GPU服务器，当我们在上面跑程序的时候，当迭代次数或者epoch足够大的时候，我们通常会使用nn.DataParallel
torch.nn.parallel.data_parallel()
weixin_36670529的博客
05-10 3349
import operator import torch import warnings from itertools import chain from ..modules import Module from .scatter_gather import scatter_kwargs, gather from .replicate import replicate from .parallel_apply import parallel_apply from torch.cuda._utils imp.
torch.nn.DataParallel并行计算改成单卡
08-15
要将使用torch.nn.DataParallel进行的并行计算改成单卡计算，可以按照以下步骤进行操作： 1. 首先，将模型移动到GPU上。如果之前使用了DataParallel包装模型，可以通过调用`.module`属性获取原始模型，然后使用`.to(device)`将其移动到指定的设备上。 ```python device = torch.device("cuda" if torch.cuda.is_available() else "cpu") model = model.module.to(device) ``` 2. 然后，将输入数据也移动到GPU上，以与模型在同一设备上进行计算。 ```python input = input.to(device) ``` 3. 最后，使用移动到GPU上的模型进行正向传播和反向传播。 ```python output = model(input) loss = criterion(output, target) loss.backward() ``` 这样就可以将使用DataParallel进行的并行计算改成单卡计算。注意，由于只使用了单个GPU进行计算，因此可能需要调整批处理大小等超参数以适应单卡计算的内存限制。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值