Data Parallel 的那些事儿（梯度计算、同步 BN ......）

最新推荐文章于 2024-12-08 12:00:56 发布
最新推荐文章于 2024-12-08 12:00:56 发布
阅读量2.2k 收藏 3
点赞数 1
分类专栏： 学习 人工智能 PyTorch 文章标签： pytorch 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36627158/article/details/123033954
版权
本文介绍了PyTorch中DataParallel的工作原理，以及如何使用它来解决显存不平衡和不足的问题。同时，对比了DataParallel与SyncBatchNorm在批归一化处理上的差异，解释了SyncBN如何实现跨GPU的同步批归一化，确保模型在多GPU环境中的收敛一致性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

0、写在前面

本文是一个学习链接博客。网上已有许多参考文档，故不再重复。我从找到的学习链接中筛选出我认为写得清晰、通俗易懂的部分截取给大家，并加上了我学习过程中的笔记标注。来源已标注，感谢各位大佬博主！

1、Data Parallel 工作原理 & 梯度计算

pytorch多gpu DataParallel 及梯度累加解决显存不平衡和显存不足问题_gaoyelu的博客-CSDN博客

2、Data Parallel 暂时没有 PyTorch 官方的同步，但 DDP 有。

DataParallel下的Batch Normalization_44070509的博客-CSDN博客

3、Data Parallel 的 BN 层前向计算示意图

Pytorch多GPU的计算和Sync BatchNorm - 知乎

4、BN 的前向、反向传播及其计算公式

BN(Batch Normalization)与Multi-GPU BN - AI备忘录

5、SyncBN 的前向、反向传播及其计算公式

BN(Batch Normalization)与Multi-GPU BN - AI备忘录

【Image captioning】ruotianluo/self-critical.pytorch之4—模型训练之train.py代码解析
安静到无声
08-08 908
同样，Python 2.x中的整数除法是向下取整的，而Python 3.x中的整数除法是精确的，因此需要导入__future__模块中的division特性。这样，我们就可以在 TensorBoard 的界面中实时监控模型在训练过程中各项指标的变化情况，有助于进行调试和优化。如果指定了预训练模型的保存路径，并且该路径下存在名为 ‘model.pth’ 的文件，则加载该文件中保存的预训练权重。默认字典的特点是，当试图访问一个不存在的键时，会使用该默认字典的默认值来初始化该键，并返回该默认值。
YOLOv5源码逐行超详细注释与解读（3）——训练部分train.py
热门推荐
路人贾的博客
03-11 3万+
全网最详细的YOLOv5项目源码解读之训练部分train. py。全文近5万字！代码逐行注释，逐段讲解，小白入门必备！
深度学习中的数据并行
学习与分享人工智能技术
12-08 1639
本文详细介绍了深度学习中的数据并行技术的概念及原理，并给出了python实现多GPU数据并行的示例。
Pytorch分布式训练/多卡训练(一) —— Data Parallel并行(DP)
hxxjxw的博客
03-25 1万+
注意 .to(device)就是把数据从内存放到GPU显存
Pytorch分布式训练/多卡训练(二) —— Data Parallel并行(DDP)(2.1)(基本概念&代码框架)
hxxjxw的博客
08-18 4875
Pytorch官网已经建议使用DistributedDataParallel来代替DataParallel, 因为DistributedDataParallel比DataParallel运行的更快, 然后显存分配的更加均衡. 而且DistributedDataParallel功能更加强悍 DDP与DP的区别 ①DataLoader部分需要使用Sampler，保证不同GPU卡处理独立的子集. ②模型部分使用DistributedDataParallel. DDP的主要代码部分 .......
Pytorch基础｜数据并行（DP）以及其Pytorch实现
weixin_49659123的博客
03-14 2763
这篇文章将深入数据并行（Data Parallel，即常说的DP）的原理，并解析数据并行在Pytorch中的实现。
Pytorch分布式训练/多卡训练(二) —— Data Parallel并行(DDP)(2.2)(代码示例)(BN同步&主卡保存&梯度累加&多卡测试inference&随机种子seed)
hxxjxw的博客
08-18 7803
DDP的使用非常简单，因为它不需要修改你网络的配置。其精髓只有一句话 model = DistributedDataPrallel(model, device_ids=[local_rank], output_device=local_rank) 原本的model就是你的PyTorch模型，新得到的model，就是你的DDP模型。 最重要的是，后续的模型关于前向传播、后向传播的用法，和原来完全一致！DDP把分布式训练的细节都隐藏起来了，不需要暴露给用户，非常优雅！ 初...........
PyTorch Tips (三):nn.Module
Tsehooo的博客
08-08 546
因为使用autograd可实现深度学习模型，但其抽象程度较低，如果用其来实现深度学习模型，则需要编写的代码量极大。在这种情况下，torch.nn应运而生，其是专门为深度学习设计的模块。torch.nn和核心数据结构是Module，它是一个抽象的概念，既可以表示神经网络中的某个层（layer）,也可以表示一个包含很多层的神经网络。在实际使用中，最常见的做法是继承nn.Module，撰写自己的网络层。下面来先看看如何用nn.Module实现自己的全连接层。全连接层，又名仿射层，输出y和输入x满足y=Wx + b
YOLOV5代码精度之训练部分（train.py）
浩瀚之水的专栏
09-27 2225
这些都是用户自定义的库，由于上一步已经把路径加载上了，所以现在可以导入，这个顺序不可以调换。这个是测试集，我们下一篇再具体讲实验性质的代码，包括MixConv2d、跨层权重Sum等yolo的特定模块，包括BaseModel，DetectionModel，ClassificationModel，parse_model等定义了自动生成锚框的方法定义了自动生成批量大小的方法定义了回调函数，主要为logger服务dateset和dateloader定义代码谷歌云盘内容下载。
YOLOv5-4.0-torch_utils.py 源代码导读
weixin_42716570的博客
01-17 3512
YOLOv5介绍 YOLOv5为兼顾速度与性能的目标检测算法。笔者将在近期更新一系列YOLOv5的代码导读博客。YOLOv5为2021.1.5日发布的4.0版本。 YOLOv5开源项目github网址 本博客导读的代码为utils文件夹下的torch_utils.py文件，更新日期为2021.1.10. torch_utils.py 该文件为基于pytorch的一些实用工具的编写。相关导入模块及对应说明如下所示： import logging #日志功能生成模块 import math #以下为torc
5_data_parallel_tutorial.ipynb
07-21
官方网站的[Deep Learning with PyTorch: A 60 Minute Blitz] (https://pytorch.org/tutorials/beginner/deep_learning_60min_blitz.html)的中文翻译
Pytorch 分布式训练DistributedDataParallel （1）概念篇
weixin_43229348的博客
04-14 2071
分布式训练就是指在很多台机器上（每台机器有多个GPU）进行训练，之所以使用分布式训练的原因有两种：第一、模型在一块GPU上放不下；第二、使用多块GPU进行并行计算能够加速训练。但需要注意的是随着使用的GPU数量增加，各个设备之间的通讯会越复杂，导致训练速度下降。 分布式训练主要分为两种类型：数据并行（Data Parallel）和模型并行（Model Parallel）。 1.数据并行（Data Parallel） 当数据量非常大，并且模型架构能够放置在单个GPU上时候，就可以采用数据并行化的方式进行分工合
Parallel Data Loading Models
彦祖的小号的博客
07-22 148
Concurrent Conventional Path Loads If you want faster loading, then you should consider using concurrent conventional path loads. That is, use multiple load sessions executing concurrently on a multiple-CPU system. Split the input data files into separat..
torch.nn.parallel.data_parallel()
weixin_36670529的博客
05-10 3456
import operator import torch import warnings from itertools import chain from ..modules import Module from .scatter_gather import scatter_kwargs, gather from .replicate import replicate from .parallel_apply import parallel_apply from torch.cuda._utils imp.
Parallel Data Augmentation for Formality Style Transfer翻译
nopSled
03-23 523
摘要 在风格样式迁移任务中取得进展的主要障碍是训练数据的不足。在本文中，我们研究如何扩充平行数据，并为此任务提出了简单的数据扩充方法，以通过易于访问的模型和系统获得有用的句子对。实验表明，当我们使用增强的平行数据对模型进行预训练时，它们在很大程度上有助于改善风格样式的迁移，从而在GYAFC基准数据集中提供了最新的结果。 1.介绍 　　风格样式迁移（FST）的定义是将一种风格样式的文本自动转换为另一种风格的文本的任务。例如，在给定非正式句子的情况下，FST旨在保留与样式无关的内容并输出正式句子。 　　先前的
一个简单的图像分类项目（九）并行训练的学习：多GPU的DP（DataParallel数据并行）
xulibo5828的博客
11-16 1034
将电脑装成Ubuntu、Windows双系统，并在Ubuntu上继续学习。在现代深度学习中，多主机多GPU训练已经变得非常常见，尤其是对于大规模模型和数据集。最简单和早期的并行计算比如NVIDIA的SLI，从NVIDIA 450系列驱动开始，NVIDIA官方停止了对SLI配置的支持，特别是在CUDA计算方面。现代深度学习框架通常可以通过多GPU配置来利用多块显卡，而不需要启用SLI。下面学习在pytorch中的并行训练。
Pytorch多GPU训练：DataParallel和DistributedDataParallel
XuanyuXiang
10-13 3841
Pytorch多GPU训练：DataParallel和DistributedDataParallel
PyTorch并行与分布式(三)DataParallel原理、源码解析、举例实战
小小何先生的学习之旅
12-12 4269
文章目录简要概览源码解析实例 简要概览   pytorch官方提供的数据并行类为： torch.nn.DataParallel(module, device_ids=None, output_device=None, dim=0)   当给定model时，主要实现功能是将input数据依据batch的这个维度，将数据划分到指定的设备上。其他的对象(objects)复制到每个设备上。在前向传播的过程中，module被复制到每个设备上，每个复制的副本处理一部分输入数据。在反向传播过程中，每个副本module的
Pytorch的nn.DataParallel详细解析
qq_38410428的博客
08-04 2万+
前言 pytorch中的GPU操作默认是异步的，当调用一个使用GPU的函数时，这些操作会在特定设备上排队但不一定在稍后执行。这就使得pytorch可以进行并行计算。但是pytorch异步计算的效果对调用者是不可见的。 但平时我们用的更多其实是多GPU的并行计算，例如使用多个GPU训练同一个模型。Pytorch中的多GPU并行计算是数据级并行，相当于开了多个进程，每个进程自己独立运行，然后再整合在一起。 device_ids = [0, 1] net = torch.nn.DataParallel(net,
cbam 多gpu问题
最新发布
03-16
当涉及到多GPU训练时，我们需要特别注意如何分配计算任务、同步梯度以及保持数据一致性。 ### CBAM在多GPU环境下的挑战及解决方案 1. **分布式策略选择** 对于大型神经网络如包含CBAM结构的情况，在多GPU环境下...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值