多卡训练中的BN(BatchNorm)

已于 2023-01-04 23:00:48 修改
阅读量5.2k 收藏 7
点赞数 5
文章标签： 深度学习 计算机视觉
于 2022-01-24 13:31:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hxxjxw/article/details/122665735
版权

     现有框架BatchNorm的实现(DP,DDP)都是只考虑了single gpu。也就是说BN使用的均值和标准差是单个gpu算的，相当于缩小了batchsize。

      对于比较消耗显存的训练任务时，往往单卡上的相对批量过小，影响模型的收敛效果。 之前在在图像语义分割的实验中，就发现使用大模型的效果反而变差，实际上就是BN在作怪。 跨卡同步 Batch Normalization 可以使用全局的样本进行归一化，这样相当于‘增大‘了批量大小，这样训练效果不再受到使用 GPU 数量的影响。 最近在图像分割、物体检测的论文中，使用跨卡BN也会显著地提高实验效果，所以跨卡 BN 已然成为竞赛刷分、发论文的必备神器。

但是为什么跨卡同步BN没有成为主流？

      1）因为没有sync的需求，因为对于大多数vision问题，单gpu上的mini-batch已经够大了，完全不会影响结果。

     2）影响训练速度，BN layer通常是在网络结构里面广泛使用的，这样每次都同步一下GPUs，十分影响训练速度。

从使用的经验来看，如果多卡训练没开BN同步，那么所得的结果和使用单GPU训练得到的结果基本一致，但是训练速度会得到提升。

而如果开了BN同步，训练结果会有将近一个点的提升

当然如果多卡训，但是单张卡上的batchsize就很大了，这样是开BN同步就没有太大作用

开了BN之后会让训练速度变慢，大概是不开5秒，开了8秒的样子

hxxjxw
关注
YOLOv7如何提高目标检测的速度和精度，基于优化算法提高目标检测速度
学Java，找哪吒
04-26 4210
学习率是影响目标检测精度和速度的重要因素之一。合适的学习率调度策略可以加速模型的收敛和提高模型的精度。在YOLOv7算法中，可以使用基于余弦函数的学习率调度策略（Cosine Annealing Learning Rate Schedule）来调整学习率。
Pytorch分布式训练/多卡训练(二) —— Data Parallel并行(DDP)(2.2)(代码示例)(BN同步&主卡保存&梯度累加&多卡测试inference&随机种子seed)
hxxjxw的博客
08-18 7761
DDP的使用非常简单，因为它不需要修改你网络的配置。其精髓只有一句话 model = DistributedDataPrallel(model, device_ids=[local_rank], output_device=local_rank) 原本的model就是你的PyTorch模型，新得到的model，就是你的DDP模型。 最重要的是，后续的模型关于前向传播、后向传播的用法，和原来完全一致！DDP把分布式训练的细节都隐藏起来了，不需要暴露给用户，非常优雅！ 初...........
batchnorm pytorch_PyTorch 多机多卡训练：DDP 实战与技巧
weixin_31301881的博客
01-09 1708
↑ 点击蓝字关注极市平台作者丨996黄金一代@知乎(已授权)来源丨https://zhuanlan.zhihu.com/p/250471767编辑丨极市平台极市导读DistributedDataParallel(DDP)是一个支持多机多卡、分布式训练的深度学习工程方法。其能达到略低于卡数的加速比,是目前最流行的多机多卡训练方法。在这篇文章里，作者通过几个实例，给大家介绍了DDP在实际...
多卡bn怎么做
AWhiteDongDong的博客
08-02 763
单卡bn： 不能在训练时只计算一个批次内的样本的均值和方差，然后通过减均值除以方差乘上缩放系数再加上偏移系数； 多卡bn：多卡的时候，对于数据并行这种处理方式，如果想要同步bn，因为数据是平均放在多个gpu上面，但是模型又需要所有数据进行nomalize，常规的想法就是，首先各个gpu单独计算该gpu上的数据的均值，然后做一次同步，计算所有该批次内所有数据的全局均值，然后用全局均值去算每张卡对应的方差，然后再做一次同步，得到全局方差；但是这样多次通信会很耗时，所以为解决这个问题，提出来下面的方法：在第一次同
神器：多卡同步的Batch Normalization
soaring_casia的专栏
12-08 652
作者简介 CW，广东深圳人，毕业于中山大学（SYSU）数据科学与计算机学院，毕业后就业于腾讯计算机系统有限公司技术工程与事业群（TEG）从事Devops工作，期间在AI LAB实习过，实操过道路交通元素与医疗病例图像分割、视频实时人脸检测与表情识别、OCR等项目。 目前也有在一些自媒体平台上参与外包项目的研发工作，项目专注于CV领域（传统图像处理与深度学习方向均有）。 Foreword 使用多GPU卡训练的情况下Batch Normalization（BN）可能会带来很多问题，目前在很多深度学习框架
Multi-GPU下的Batch normalize跨卡同步
Nick Blog
12-17 682
1. 为什么要跨卡同步 Batch Normalization 现有的标准 Batch Normalization 因为使用数据并行（Data Parallel），是单卡的实现模式，只对单个卡上对样本进行归一化，相当于减小了批量大小（batch-size）, 若不进行同步BN，moving mean、moving variance参数会产生较大影响，造成BN层失效。对于比较消耗显存的训练任务时，往往单卡上的相对批量过小，影响模型的收敛效果。 在图像语义分割的实验中，使用大模型的效果反而变差，实际上就是BN在
跨卡同步 Batch Normalization
taoqick的专栏
03-18 392
作者：张航Amazon AI Applied Scientist 很多用户在论坛上，GitHub 上，甚至是不同的深度学习平台上，都要求提供跨卡同步（Cross-GPU Synchronized） Batch Normalization 或称为同步BN （SyncBN）。 我们团队率先提供了 MXNet 的实现。 写在前面：为什么要跨卡同步 Batch Normalization 现有的标准 Batch Normalization 因为使用数据并行（Data Parallel），是单卡的实现模式.
分布式训练 - 单机多卡（DP和DDP）
love1005lin的博客
05-04 1万+
起初为调用大规模的模型训练，单卡GPU是不够使用的，需要借用服务器的多GPU使用。就会涉及到单机多卡，多机多卡的使用。在这里记录一下使用的方式和踩过的一些坑。文中若有不足，请多多指正。 由于分布式的内容较多，笔者准备分几篇来讲一次下深度学习的分布式训练，深度学习的框架使用的是Pytorch框架。 ----1.分布式训练的理论基础 ----2.GPU训练 ----3.单机多卡的使用 ----4.多机多卡的使用 在GPU训练文章中我们已经了解到了多GPU的训练，最简单的是单机多卡操作torch.nn.DataP
深度估计自监督模型monodepth2在自己数据集的实战——单卡/多卡训练、推理、Onnx转换和量化指标评估
苹果姐计算机视觉原创知识分享
01-28 6638
monodepth2实战
PyTorch训练（三）：DDP（DistributedDataParallel）【“单机多卡”、“多机多卡”分布式训练模式】【支持混合精度（fp16/fp32）】【只将数据并行，模型大于显卡则不行】
u013250861的博客
05-10 1721
一、概述 我们知道 PyTorch 本身对于单机多卡提供了两种实现方式 DataParallel（DP）：Parameter Server模式，一张卡位reducer，实现也超级简单，一行代码。 DistributedDataParallel（DDP）：All-Reduce模式，本意是用来分布式训练，但是也可用于单机多卡。 DataParallel（DP）是基于Parameter server的算法，实现比较简单，只需在原单机单卡代码的基础上增加一行： gpu_ids = [0, 2, 3] mode.
YOLOV5代码精度之训练部分（train.py）
浩瀚之水的专栏
09-27 2197
这些都是用户自定义的库，由于上一步已经把路径加载上了，所以现在可以导入，这个顺序不可以调换。这个是测试集，我们下一篇再具体讲实验性质的代码，包括MixConv2d、跨层权重Sum等yolo的特定模块，包括BaseModel，DetectionModel，ClassificationModel，parse_model等定义了自动生成锚框的方法定义了自动生成批量大小的方法定义了回调函数，主要为logger服务dateset和dateloader定义代码谷歌云盘内容下载。
Resnet实战：单机多卡DDP方式、混合精度训练
04-15
本例提取了植物幼苗数据集中的部分数据做数据集，数据集共有12种类别，模型使用最经典的resnet50，演示如何实现混合精度训练以及如何使用DDP的方式实现多卡并行训练。 通过本文你和学到： 1、如何使用混合精度训练？ 2、如何制作ImageNet数据集？ 3、如何使用DDP方式的进行多卡训练？ 4、如何使用Mixup数据增强。 5、如何进行多卡BN同步？ 6、如何使用余弦退火调整学习率？ 7、如何使用classification_report实现对模型的评价。 8、预测的两种写法。 原文链接：https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/124196817
pytorch gather_[原创][深度][PyTorch] DDP系列第三篇：实战与技巧
weixin_39946313的博客
11-27 649
https://medium.com/@esaliya/model-parallelism-in-deep-learning-is-not-what-you-think-94d2f81e82ed零. 概览想要让你的PyTorch神经网络在多卡环境上跑得又快又好？那你definitely需要这一篇！No one knows DDP better than I do! ...
多卡训练时设置batch_size和learning_rate
bbbeoy的专栏
01-06 1037
Linear Scale Rule:
多卡同步bn的原理与推导
qq_37668436的博客
12-20 1548
bn的计算 训练时统计训练数据的均值和方差（前向传播的时候更新）。 测试时使用训练的均值和方差。 bn的作用 使模型不用去学习复杂的数据分布导致过拟合 为模型提供有效地正则化防止过拟合（和上面一条一个意思更专业） 加速网络收敛 防止梯度消失 多卡为什么同步BN 多卡的原理： 模型并行，将模型放在不同的卡上，可以不用同步bn 数据并行，将数据拆分放在不同的卡上需要同步bn 对于数据并行的情况，因为每张卡处理的数据不同因此每张卡在前向传播统计得到的bn参数（均值、方差）自然也不同，因为越大的batchs
神经网络中的BN操作（常见正则化处理）
热门推荐
学生的博客
04-14 2万+
1. BN简介 1.1. 目前主流的归一化层介绍 1.2. Batch Normalization 1.3. 为什么BN层要加上scale和shift？ 1.3.1. 为什么BN可以是网络参数梯度变化较为稳定？ 1. BN简介   BN的存在，主要起因于数据分布的问题。所谓数据分布，分为两种情况，一种在输入时数据分布不一样，称之为Covariate Shift，比如训练的数据和测试的数据本身分布就不一样，那么训练后的模型就很难泛化到测试集上。另一种分布不一样是指在输入数据经过网络内部计..
Pytorch 多卡并行训练教程 （DDP）
fovever_的博客
01-01 6316
Pytorch 多卡并行训练教程 （DDP），关于使用DDP进行多开并行训练 网上有许多教程，而且很多对原理解析的也比较透彻，但是有时候看起来还是比较懵逼，再啃了许多相关的博客后，博主记录了一些自己对于使用torch.nn.DistributedDataParallel(DDP)进行单机多卡并行训练的一些体会，希望能对入门的小白有一定的帮助，不足之处也希望指出，大家一起交流学习。
批归一化（BN）在神经网络中的作用与原理
专注于全栈开发领域
04-11 3062
批归一化作为一种有效的神经网络技术，在加速训练、提高泛化能力等方面发挥了重要作用。在实际应用中，需要根据具体情况权衡其优缺点，选择合适的方法和参数设置。同时，对其原理和实现方式的深入理解，有助于更好地应用于实际问题中。
DDP(DistributedDataParallel) 分布式训练3——实践与技巧
哦豁灬
02-29 2186
1 在 DDP 中引入 syncBN 1.1 syncBN SyncBN就是Batch Normalization(BN)。其跟一般所说的普通BN的不同在于工程实现方式：SyncBN能够完美支持多卡训练，而普通BN在多卡模式下实际上就是单卡模式。 BN中有moving mean和moving variance这两个buffer，这两个buffer的更新依赖于当前训练轮次的batch数据的计算结果。但是在普通多卡DP模式下，各个模型只能拿到自己的那部分计算结果，所以在DP模式下的普通BN被设计为只利用主卡上的
单机多卡训练
最新发布
03-18
### 单机多卡训练的配置与实现 #### TensorFlow 1.x 的单机多卡训练 在 TensorFlow 1.x 中，可以通过 `tf.estimator` 和 `tf.train.MonitoredTrainingSession` 来实现单机多卡训练。官方提供了一个脚本作为参考[^1]。主要思路是通过设置设备分配策略来利用多个 GPU 并行处理数据。 以下是基于 TensorFlow 1.x 的简单实现框架： ```python import tensorflow as tf # 定义输入管道 def input_fn(): dataset = tf.data.Dataset.from_tensor_slices((features, labels)) dataset = dataset.shuffle(buffer_size).batch(batch_size) return dataset # 构建模型函数 def model_fn(features, labels, mode): predictions = ... loss = ... optimizer = tf.compat.v1.train.AdamOptimizer() # 使用分布式策略 with tf.device(tf.train.replica_device_setter(cluster=cluster_spec)): train_op = optimizer.minimize(loss) return tf.estimator.EstimatorSpec(mode=mode, loss=loss, train_op=train_op) # 设置集群规格 cluster_spec = tf.train.ClusterSpec({ 'worker': ['localhost:2222', 'localhost:2223'] }) # 初始化 Estimator config = tf.estimator.RunConfig( session_config=tf.ConfigProto(log_device_placement=True), train_distribute=tf.contrib.distribute.MirroredStrategy()) estimator = tf.estimator.Estimator(model_fn=model_fn, config=config) # 开始训练 estimator.train(input_fn=input_fn) ``` #### PyTorch 的单机多卡训练 PyTorch 提供了更灵活的方式来进行单机多卡训练，通常使用 `torch.nn.DataParallel` 或者更为推荐的 `torch.nn.DistributedDataParallel`[^3]。为了确保不同进程间同步初始化完成，可以调用 `torch.distributed.barrier()` 函数。 下面是一个简单的 PyTorch 多卡训练示例： ```python import torch import torch.distributed as dist from torch.nn.parallel import DistributedDataParallel as DDP # 初始化进程组 dist.init_process_group(backend='nccl') # 加载模型到指定设备上 device = torch.device(f'cuda:{rank}') model = YourModel().to(device) # 将模型封装成分布式模式 ddp_model = DDP(model, device_ids=[rank]) # 数据加载器需配合 DistributedSampler train_sampler = torch.utils.data.distributed.DistributedSampler(dataset) train_loader = torch.utils.data.DataLoader( dataset, batch_size=batch_size_per_gpu, sampler=train_sampler ) # 训练循环 for epoch in range(num_epochs): for data, target in train_loader: output = ddp_model(data.to(device)) loss = criterion(output, target.to(device)) loss.backward() optimizer.step() optimizer.zero_grad() # 同步屏障 dist.barrier() ``` #### Baichuan-2 的 Hybrid Shard Zero2 策略 Baichuan-2 提出了 hybrid shard zero2 方法，这是一种结合 ZeRO-2 和其他分片技术的混合策略[^2]。ZeRO-2 主要用于减少内存占用的同时保持较高的计算效率。Hybrid shard zero2 可能进一步优化了参数、梯度以及优化状态的分布方式，在大规模模型训练中有显著优势。 #### 配置文件中的 DataLoader 设定 对于大多数深度学习框架而言，调整 `dataloader` 是实现高效多卡训练的重要部分之一。例如，在 MMDetection 或 MMCV 等库中，可以在配置文件里定义如下内容[^4]: ```yaml data: samples_per_gpu: 4 workers_per_gpu: 2 train: type: CustomDataset ann_file: path/to/train.json pipeline: - type: LoadImageFromFile - type: Normalize ``` 上述 YAML 文件片段展示了如何设定每张显卡上的样本数 (`samples_per_gpu`) 和工作线程数量 (`workers_per_gpu`)。 --- ###
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值