分布式训练（理论篇）

最新推荐文章于 2024-05-29 10:27:55 发布
最新推荐文章于 2024-05-29 10:27:55 发布
阅读量1k 收藏 3
点赞数 2
分类专栏： Train
原文链接：https://zhuanlan.zhihu.com/p/129912419
版权

https://zhuanlan.zhihu.com/p/129912419

 

我们为什么需要分布式，一方面是不得已而为之，例如

  • 数据量太大，数据无法加载
  • 模型太复杂，一个GPU放不下

或者我们也可以利用分布式提高我们的训练速度

Parameter Server

  • 机器分为Parameter Server 和 woker 两类
    • Parameter server 负责整合梯度，更新参数
    • woker负责计算，训练网络

 

 


从上图可以很清楚的看到PS的流程，共分为4步。

  • Task Scheduler：
    • 加载数据，并将数据分发给不同的workers
  • Workers：
    • 计算梯度（1. compute）
      • 加载训练数据
      • 从servers拉取最新的参数（4. Pull）
    • 将梯度push到servers（2.Push）
      • 从servers拉取最新的参数（4. Pull）
  • Servers：
    • 聚合梯度
    • 更新参数（3. Update）

通信成本为： [公式], 通信时间和GPU个数成正比

  • : number of GPUs.
  • : number of parameters.
  • : network bandwidth.

Ring All-reduce

reduce 和 all-reduce的区别：

  • reduce：server 获取reduce之后的结果（sum/avg/mean/count），其他节点并不知道reduce之后的结果。例如我们需要进行reduce_sum 的操作，那么所有的workers的值都会传给server，然后server将这些值进行相加。

 

  • all reduce：所有的节点都获取reduce之后的结果，不单单server有。
    • all-reduce是reduce+broadcast。例如我们需要进行all-reduce_sum 的操作，那么所有的workers的值都会传给server，然后server将这些值进行相加，然后server会将相加的和broadcast给所有的workers。

 

    • all-to-all communication。或者说如果没有 server 机器，那么我们可以通过all-to-all 通信，让每个节点都获取其他节点的值，然后再在各自机器上进行reduce

 

    • ring all-reduce。本文会主要讲解

 

Ring All-Reduce

首先我们有4台机器GPU 0:4, 我们的目标是将每个GPU计算出来的梯度 [公式] 进行相加，使得每个GPU都有所有GPU的梯度。

 

Naive Approach

首先我们想到的方式是，我们将每个GPU的目前加和的梯度都向下传递，然后最后一个GPU可以得到最后的加和，然后它再将所有的结果传递给其他的没有获得结果的GPU。
整个过程如下：

  • GPU0 将 [公式] 传给GPU1，GPU1得到 [公式] 的结果

 

  • GPU1 将 [公式] 传给 GPU2，GPU2得到 [公式] 的结果

 

  • GPU2 将 [公式] 传给 GPU3，GPU3得到 [公式] 的结果

 

  • GPU3 将 [公式] 传给GPU0， GPU0 得到 [公式]
  • GPU0 将 [公式] 传给GPU1， GPU1 得到 [公式]
  • GPU1 将 [公式] 传给GPU3， GPU1 得到 [公式]

 


最后每个worker自己做参数更新。

我们可以发现，这样子做的话，每次的数据传输都只用了一个通道，即只有两台GPU在进行传输，其他的3个通道都没有使用，造成了资源的浪费。
我们假设有 [公式] 台机器，每台机器传输的参数量为 [公式], 传输带宽为 [公式]， 我们可以得到传输的时间为 [公式]，传输的速度和GPU数目成正比，这极大地限制了集群的可扩展性。

Ring All-Reduce (Efficient Approach)

为了充分利用起其他的通道，我们可以采取 Ring All-reduce的方式进行传输。其主要的作用就是将传输的时间不再正比于GPU的数目。

首先我们将传输的梯度进行 [公式] 等分split，每一次的传输传的参数量为 [公式]。 如下图。


首先我们得到GPU_i 计算出来的梯度倍等切成后的 [公式]（本例子为4等分），然后我们可以发现所有 [公式] 加起来是第一部分的加和，所有 [公式] 加起来是第2部分的加和，所有 [公式] 加起来是第3部分的加和，所有 [公式] 加起来是第4部分的加和。并且 GPU0 可以传输给GPU1，GPU1 可以传输给GPU2，GPU2可以传输给GPU3，GPU3可以传输给GPU0，形成环状网络。

这个环状传输是同时进行的，其保证了每次传输的并行（纵向），且保证了每次的reduce计算都只在机器的一个部分，不会同一个机器多个部分同时进行（横向）。

 

  • 首先进行第一次传输， GPU0 --[公式]--> GPU1，GPU1 --[公式]--> GPU2, GPU2 --[公式]--> GPU3, GPU3 --[公式]--> GPU0, 注意这边的初始传输值不是 [公式]

 

  • 第二次传输，就是将目前得到的每个部门的reduce结果，传输给下个device。
    GPU1 --[公式]--> GPU2，GPU2 --[公式]--> GPU3, GPU3 --[公式]--> GPU0, GPU0 --[公式]--> GPU1

 

  • 第三次传输，还是将上次传输的结果传给下一个device，注意这边传的是结果而不是中间过程，即例如传输 [公式] 是传输这个结果而不是三个[公式], [公式], [公式]参数,否则传输的参数量就增加了。
    GPU2 --[公式]--> GPU3，GPU3 --[公式]--> GPU0, GPU0 --[公式]--> GPU1, GPU1 --[公式]--> GPU2

 

  • 第四次传输,还是将上次传输的结果传给下一个device，此时，每个部分都已经有一个机器获得了最终的结果。


我们令 [公式], [公式], [公式], [公式]
GPU3 --[公式]--> GPU0，GPU0 --[公式]--> GPU1, GPU1 --[公式]--> GPU2, GPU2 --[公式]--> GPU3

 

  • 第五次传输，如下

 

  • 第六次传输

得到最终的结果：

 

我们可以计算一下时间的开销：
[公式] ，传输的时间和GPU的个数无关！

  • : number of GPUs.
  • : number of parameters.
  • : network bandwidth.

更新方式分类

同步式和异步式的区别在于参数的更新，是否需要等其他的worker的梯度计算完成。同步式需要，而异步式不需要。

同步式类型

我们以 MultiworkerMirroredStrategy 作为例子：
首先是数据并行，数据会被分发到不同的devices（下图的A/B/C）上，然后每个device 各自进行梯度计算，最后Parameter Device(s) 会等所有的梯度都计算完之后，再更新参数，最后将参数传给所有的devices。

 

 

同步式的更新的优缺点：
优点：

  • 同步避免过多的通信（因为参数传输需要通信）
  • 效果会比异步并行略好
    缺点：
  • 有的机器计算可能快，有的机器计算慢，这样就导致，个别机器会有计算资源的空耗，导致浪费。（单机多卡一般不会）

 

异步式类型

我们以 ParameterServerStrategy 作为例子：
首先我们的所有的数据还是进行并行化，分发到不同的devices（下图的A/B/C）上，每个 worker device 各自进行了梯度的计算后，传给parameter server，而参数服务器在收到了梯度之后，不用等其他机器的结果，直接去更新参数，得到新的参数值，传给各个worker。


异步式的更新的优缺点：
优点：

  • 参数更新不需要等其他机器，所有更高效，避免短板效应（多机多卡）
  • 异步的计算会增加模型的泛化能力
    • 因为异步不是严格正确的，所以模型更容忍错误
      缺点：
  • 异步式更新的次数多了，会导致更多的通信时间
  • 每个GPU计算完梯度后就各自更新，速度快，但是最终模型的性能略低于同步数据并行方式。

 

 

并行方式分类

数据并行

数据同时分发给各个worker，并进行梯度计算。

模型并行(model parallel)

当我们的模型过大，不能放在一个GPU中，那么需要将模型分成多个部分，在各个worker 中。

 

 

模型和数据并行

把数据和模型同时并行，进行训练。其中最出名的就是微软的ZeRO & DeepSpeed: New system optimizations enable training models with over 100 billion parameters算法。它的出现使得训练超级大模型成了可能。微软用这个算法，训练出了 Turing-NLG: A 17-billion-parameter language model by Microsoft 170亿的参数，直接刷新世界观（壕无人性）。

 

该ZeRO算法，主要如下图。


数据被分为n+1份，并行处理。
然后整个模型结构被过大，不能但在单一的GPU中，它被存放在n+1个GPU中，每个GPU存放三个部分

  • 蓝色的部分是模型的参数
  • 黄色的部分是模型的梯度
  • 绿色的部分是模型梯度更新中间产生的数据，例如adam的中间产生数据。

那么模型要如何进行训练呢？
首先我们知道模型在进行更新的过程是先将数据正向传播，计算loss和梯度，再反向传播进行更新。例如下图，我们的模型存放在两个GPU中，在正向传播过程中我们必须等到数据经过GPU1，才能到GPU2，在反向传播过程中，我们需要保证GPU2的参数都计算完成，才能传到GPU1，这就导致了每次都有一个机器是闲置的。

 

 

这是因为我们的每个GPU都缺少了部分的模型参数，但是我们发现其实模型的参数并不大，大的是模型的 optimizer 的中间参数， 所以我们就是可以通过将所需要的其他部分的模型参数通过通信传输，获得，使得所有的部分都可以并行。

  • 在进行前向传播的时候，我们以 GPU0 做为例子，在data0 flow的时候，如果需要任何的参数，都可以通过通信的过程获得，比如说刚开始先forward flow完成GPU0的模型结构，之后需要GPU1的模型结构，GPU1 会将其的参数传给GPU0，之后GPU2会将其的参数传给GPU0... 以此类推，直至前行传播完成获得loss。计算出梯度。注意此时[公式]，...[公式] 都在并行进行前向传播。
  • 再反向传播的过程中，我们以 GPU0 做为例子，首先会计算出[公式] 部分模型的梯度[公式]（黄色的部分）, GPU0 不会储存这个梯度，而是将它直接传输给GPU_{n+1}, 因为它负责更新[公式] 部分模型（注意，此时所有的其他GPU计算出来的这部分的梯度都会传给它，最后在有它进行reduce），之后计算会计算出第[公式] 部分模型的梯度[公式]（黄色的部分），并传给 GPU_n，以此类推，算出得到第[公式] 部分模型的梯度[公式]（黄色的部分），然后并且收到了其他GPU关于此部分的梯度，并按照optimizer paramters进行第[公式]部分的参数的更新。

Tensorflow 分布式策略

MirroredStrategy 镜像策略

  • 同步式分布式训练
  • 使用Ring All-reduce
  • 适用于单机多卡情况
  • 每个GPU都有网络结构的所有参数，这些参数会被同步，即每个机子都会计算数据的梯度，这些所有的梯度都会被聚合起来，算出总的梯度，用于更新所有的参数。
  • 加速的方式：数据并行
    • batch 数据切为 N 份分给各个GPU
    • 梯度聚合然后更新各个GPU上的参数

CentralStorageStrategy

  • MirroredStrategy的一个变种
  • 参数不是在每个GPU上，而是存储在一个设备上
    • CPU或者唯一的GPU上
  • 计算是在所有的GPU上并行的
    • 除了更新参数的计算
  • 但是一般情况下CPU和GPU通信代价大，不建议使用

MultiwokerMirroredStrategy

  • MirroredStrategy的一个变种
  • 适用于多机多卡的情况

TPUStrategy

  • 和MirroredStrategy 类似
  • 使用在TPU上的策略

ParameterServerStrategy 参数服务器策略

  • 异步式分布式
  • 更适合于大规模的分布式系统

ref

张博208
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
卷积神经网络的分布式训练在表情识别中的应用.pdf
05-11
总结来说，这篇论文探讨了如何利用卷积神经网络的分布式训练改进表情识别系统，通过结合YOLO目标检测和优化的VGGNet结构，实现了对复杂环境下人脸表情的有效识别。这种方法对于解决人脸识别系统中存在的问题，如面部...
软件工程专业实习报告10篇.docx
12-18
软件工程专业实习报告10篇 软件工程专业实习报告是软件工程专业学生实习的报告总结，报告中包括实习目的、实习内容、实习收获与体会等部分。下面是软件工程专业实习报告的详细知识点总结： 一、实习目的 实习目的...
分布式深度学习技术－AllReduce
热门推荐
星辰大海，脚踏实地
12-15 1万+
Hello, I am Yuichiro Ueno. I participated in a summer internship program at PFN in 2017, and I currently work as a part-time engineer. I am an undergraduate student at Tokyo Institute of Technology, a...
AllReduce
Jony0917的专栏
06-28 5629
背景 深度学习领域的关键挑战之一，就是耗时。耗时的原因来自于两个方面，一方面是模型越来越大，参数越来越多，千万甚至数十亿，另一个方面是训练数据量的增多。所以更低的耗时、更快速的实验，对于模型的的开发效率至关重要，使研究者有机会探索更多的超差组合。 分布式深度学习算法是降低耗时问题的重要方法。2017年6月，Facebook发布论文，文中说他们用32台服务器256块GPU，将Resnet-50模型在...
Deepspeed 结合huggingface Trainer实现多机分布式训练
最新发布
ningzhao的专栏
05-29 1265
目前工作中只使用了单机多卡做微调训练，为了提升训练效率，特实验多机多卡分布式训练。
[Alink漫谈之三] AllReduce通信模型
罗西的思考
05-17 1314
Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台，是业界首个同时支持批式算法、流式算法的机器学习平台。本文将带领大家来分析Alink中通讯模型AllReduce的实现。AllReduce在Alink中应用较多，比如KMeans，LDA，Word2Vec，GD，lbfgs，Newton method，owlqn，SGD，Gbdt, random forest都用到了这个通讯模型
Deeplearning4j分布式训练：梯度共享
用时间去蜕变
01-25 2240
Deeplearning4j分布式训练：梯度共享 0.9.1版本（或0.9.2-SNAPSHOT）起，DeepLearning4j开始支持Apache Spark环境中的分布式训练，同时支持在Spark环境外用Aeron实现高性能节点间通信。 分布式训练的核心思想很简单：每个工作器根据自己的数据集计算梯度。 在梯度被用于调整网络权重之前，它们会首先在一个中间存储机制中（每台计算机有一个）累
All Reduce算法汇总
weixin_30814329的博客
08-22 1349
1、朴素All Reduce 假设GPU节点数为N，两两GPU间的网络上下行带宽均为B，weight数据量S，那么broadcast（下图中的Receive）的通信时间：T = (N-1)S/B，可以看出T随N线性增长，当N很大时，这会成为严重的瓶颈。 当然，这是基于同步SGD。如果用异步SGD，通信时间会变短，但是异步SGD可能会不收敛。 2、Baidu All Reduce...
聚簇的分布式SVM算法优化.pdf
08-08
总结来说，这篇论文提出的聚簇的分布式SVM算法优化是一种创新性的方法，通过结合k-means聚类与随机划分，解决了传统分布式SVM在样本分布一致性上的问题，提升了大规模数据集上的模型训练效果，具有重要的理论价值和...
基于Hadoop分布式计算的混合神经网络负荷分类模型.docx
11-06
总的来说，这篇论文对于计算机科学与技术、软件工程等相关专业的学生和研究者来说是一份宝贵的资源，它详细阐述了Hadoop在大数据处理中的应用，以及如何利用Hadoop进行分布式机器学习。读者可以通过阅读论文，理解...
分布式非凸优化的通信压缩自适应梯度法_Communication-Compressed Adaptive Gradient Me
01-19
总的来说，这篇论文提出了一种创新的、通信高效的分布式非凸优化方法，通过压缩策略降低了通信成本，保持了优化算法的性能，对于推动大规模深度学习模型的高效训练具有重要意义。这种方法不仅理论上具有吸引力，而且...
关于all_reduce
哦豁灬
03-01 869
假设每个worker的数据是一个长度为S的向量，那么个Ring AllReduce里，每个worker发送的数据量是O(S)，和worker的数量N无关。一个略优的实现是利用主从式架构，将一个worker设为master，其余所有worker把数据发送给master之后，由master进行整合运算，完成之后再分发给其余worker。AllReduce具体实现的方法有很多种，最单纯的实现方式就是每个worker将自己的数据发给其他的所有worker，然而这种方式存在大量的浪费。
分布式训练通信NCCL之Ring-Allreduce详解
张小殊的博客
12-26 6570
随着Chat GPT、文生图、多模态等模型的发展，海量的训练数据、超大规模的模型给深度学习带来了日益严峻的挑战，因此，经常需要使用多加速卡和多节点来并行化训练深度神经网络。目前，数据并行和模型并行作为两种在深度神经网络中常用的并行方式，分别针对不同的适用场景，有时也可将两种并行混合使用。数据并行是在不同设备上放置完整的模型，然后将数据划分在每个设备并行计算。
MPI基本知识学习汇总
qq_43621561的博客
06-28 5360
MPI基本知识学习汇总 目的 目的：降低程序运行时间 MPI：message passing interface（消息传递库） 分布存储系统：程序员显式的安排消息传递方式 FORTRAN：include mpif.h或use mpi 基本概念 MPI_COMM_WORLD：最大（全局）通信域，所有进程的集合； Call MPI_Init（ierror）：mpi初始化；（integer ierror） Call MPI_Finalize（ierror）：mpi结束；（integer ierror） Call
参数服务器——分布式机器学习的新杀器
smartcat2010的博客
12-01 1万+
在大规模数据上跑机器学习任务是过去十多年内系统架构师面临的主要挑战之一，许多模型和抽象先后用于这一任务。从早期的MPI，到后来的Hadoop，乃至于目前使用较多的Spark，都曾被广泛应用于大规模机器学习处理任务。John Langford曾经在他的博客(机器学习领域最好的博客之一)上总结和对比了主流的分布式机器学习框架的抽象[1]： MPI Gradient Aggregation：主要缺
分布式训练硬核技术——通讯原语
朝闻道
02-23 1759
针对分布式训练服务器的集群进行架构设计，是为了更好地解决机器学习中分布式训练中的通讯问题。目前机器学习中主要由两种分布式架构： 参数服务器架构（Parameter Server，PS） 去中心化架构（Decentralized Network） 其中，分布式训练通常在计算集群上进行，集群的每个节点分别执行一部分计算。不同节点的计算之间有数据依赖和共享，需要将数据在不同节点间传输，这就是通信。分布式的通信一般有两大类： 集合通信（Collective communication，CC）：在一组节...
pytorch 分布式训练
qq_20265015的博客
02-03 3201
分布式训练
ring all-reduce算法
qq_35985044的博客
04-13 1399
今天介绍一种新的GPU多卡计算的通信优化算法—Ring Allreduce。先来讲一下常规的GPU多卡分布式计算的原理。 第一点：我们知道GPU在矩阵并行化计算方面非常有优势，所以适合深度学习的训练。 第二点：使用多个GPU卡训练同一个深度学习任务就是分布式计算。 第三点：在分布式计算过程中，需要对计算任务资源进行分片，通常的方式是将完整的网络结构放到每一个GPU上，然后将训练数据进行分片分发到不同的GPU卡上。 于是GPU分布式计算的具体形式就比较清晰了，以上图为例。GPU1~4卡负责网络
分布式机器学习(ring-allreduce架构)：同步更新
SwankyOrc的博客
11-08 9736
基本介绍：https://blog.csdn.net/zwqjoy/article/details/81013527 同步训练：   分布式训练系统架构 系统架构层包括两种架构： Parameter Server Architecture（就是常见的PS架构，参数服务器） Ring-allreduce Architecture（ 环，加allreduce算法架构） 1.Para...
-bash: swift-ring-builder: command not found
11-13
这个错误提示表明您的系统中没有安装Swift的环境。您需要安装Swift环境并配置环境变量。以下是安装Swift环境的步骤： 1.使用以下命令安装Swift软件包： ``` apt-get install swift swift-account swift-container swift-object -y --allow-unauthenticated ``` 2.配置环境变量。打开.bashrc文件并添加以下行： ``` export PATH=$PATH:/usr/local/bin ``` 3.运行以下命令使环境变量生效： ``` source ~/.bashrc ``` 现在，您应该能够使用swift-ring-builder命令了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值