Broadcast,Scatter,Gather,Reduce,All-reduce分别是什么？

最新推荐文章于 2024-03-29 20:43:10 发布
最新推荐文章于 2024-03-29 20:43:10 发布
阅读量4.4k 收藏 16
点赞数 12
文章标签： 大数据
原文链接：http://www.cnblogs.com/marsggbo/p/11497780.html
版权

Broadcast

看名字就很好理解了，其实就是把同一份数据分发广播给所有人，示意图如下：

qg6ezsg9va.png

Scatter

不同于Broadcast， scatter可以将不同数据分发给不同的进程。

image.png

Gather

这个也很好理解，就是把多个进程的数据拼凑在一起。

image.png

Reduce

reduce就是将多个进程中的数据按照指定的映射函数进行运算得到最后的结果存在一个进程中，例如下面两个图中的归约操作都是求和，将4个不同进程的数据归约求和后存在了第一个进程中

image.png

image.png

All-reduce

All-reduce与reduce的区别就在于后者最后的结果是只保存在一个进程中，而All-reduce需要每个进程都有同样的结果。所以All-reduce一般包含scatter操作，所以有时候也会看到reduce-scatter这种说法，其实reduce-scatter可以看成是all reduce的一种实现方式

image.png

参考



MARSGGBO♥原创





2019-9-10



转载于:https://www.cnblogs.com/marsggbo/p/11497780.html

aiwanghuan5017
关注
  • 12
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
我的并行计算之路（四）MPI集合通信之Reduce和Allreduce
度凡心的博客
09-04 1万+
今天学习了MPI的全局函数，顾名思义，其涉及到了一个通信子中的所有进程，属于集合通信的一种。虽说我们有点对点通信来实现求和、求积等功能，但是对于找到所有进程中的最大值、最小值的功能来说，可能就比较繁琐了。而且，点对点通信最后一般都由一个进程（通常是0号进程）来做总结的工作，例如各个进程的部分和传给0号进程，然后0号进程求总和。这样所有分支汇集在一起的做法会导致各个进程的工作量分配不均，某些进程比较闲
AI的分布式通信操作reduce/gather/broadcast/scatter
最新发布
cy413026的博客
05-09 520
All Reduce包括了All Gather的概念，即将加和（或者其他操作）后的数据再分发到各个设备上。总结（方便大家梳理各个概念的区别）：我们要记住，只有Reduce相关的操作要做计算，其余操作都不涉及计算。而Broadcast是针对单台机器对多台机器（1->N），Gather是多台机器对单台机器（N->1）,All相关的操作是多台机器对多台（N->N），没有All的操作仅仅将数据汇总到一台设备。
【深度学习】【分布式训练】DeepSpeed：AllReduce与ZeRO-DP
bqw的博客
06-24 1417
deepspeed核心技术ZeRO与AllReduce的关系
Deepspeed、ZeRO、FSDP、ZeRO-Offload、all reduce、reduce-scatter
taoqick的专栏
03-29 977
FSDP可以看成PyTorch中的DDP优化版本，本身也是数据并行，但是和DDP不同的是，FSDP采用了parameter sharding，所谓的parameter sharding就是将模型参数也切分到各个GPUs上，而DDP每个GPU都要保存一份parameter，FSDP可以实现更好的训练效率（速度和显存使用），，而这一部分除了相对算子简单以外，最重要的是Adam优化器本身是32bit的，把它放在CPU的内存上，会极大的节省GPU的显存。
AllReduce
Jony0917的专栏
06-28 5583
背景 深度学习领域的关键挑战之一，就是耗时。耗时的原因来自于两个方面，一方面是模型越来越大，参数越来越多，千万甚至数十亿，另一个方面是训练数据量的增多。所以更低的耗时、更快速的实验，对于模型的的开发效率至关重要，使研究者有机会探索更多的超差组合。 分布式深度学习算法是降低耗时问题的重要方法。2017年6月，Facebook发布论文，文中说他们用32台服务器256块GPU，将Resnet-50模型在...
带你认识大模型训练关键算法：分布式训练Allreduce算法
华为云官方博客
06-02 1819
摘要：现在的模型以及其参数愈加复杂，仅仅一两张的卡已经无法满足现如今训练规模的要求，分布式训练应运而生。 本文分享自华为云社区《分布式训练Allreduce算法》，原文作者：我抽签必中。 现在的模型以及其参数愈加复杂，仅仅一两张的卡已经无法满足现如今训练规模的要求，分布式训练应运而生。 分布式训练是怎样的？为什么要使用Allreduce算法？分布式训练又是如何进行通信的？本文就带你了解大模型训练所必须的分布式训练Allreduce算法。 通信概念 我们理解计算机的算法都是基于一个一个函数操作组.
关于all_reduce
哦豁灬
03-01 797
假设每个worker的数据是一个长度为S的向量，那么个Ring AllReduce里，每个worker发送的数据量是O(S)，和worker的数量N无关。一个略优的实现是利用主从式架构，将一个worker设为master，其余所有worker把数据发送给master之后，由master进行整合运算，完成之后再分发给其余worker。AllReduce具体实现的方法有很多种，最单纯的实现方式就是每个worker将自己的数据发给其他的所有worker，然而这种方式存在大量的浪费。
分布式深度学习技术－AllReduce
星辰大海，脚踏实地
12-15 1万+
Hello, I am Yuichiro Ueno. I participated in a summer internship program at PFN in 2017, and I currently work as a part-time engineer. I am an undergraduate student at Tokyo Institute of Technology, a...
MPI之Reduce和Allreduce
热门推荐
sinat_22336563的博客
04-19 1万+
一、前言 Reduce——规约是来自函数式编程的一个经典概念。数据规约包含通过一个函数将一批数据分成较小的一批数据。比如将一个数组的元素通过加法函数规约为一个数字。二、MPI_Reduce 与MPI_Gather类似，MPI_Reduce在每个进程上都有一组输入元素，并将一个输出元素数组返回给根进程。 输出元素包含被规约的结果。MPI_Reduce( void* send_data,
rabit:可靠的Allreduce和Broadcast接口用于分布式机器学习
04-12
rabit是一个轻量级的库，提供Allreduce和Broadcast的容错接口。 它旨在支持分布式机器学习程序的轻松实现，其中许多自然属于Allreduce抽象。 rabit的目标是支持可移植，可伸缩且可靠的分布式机器学习程序。您也可以...
threat-broadcast:威胁情报播报
04-06
Threat-Broadcast 威胁情报播报 运行环境 项目介绍 从以下公开的威胁情报来源爬取并整合最新信息： 360： 奇安信： 红后： 绿盟： 安全客： 斗象： CNVD： 爬取到的 CVE 情报会作如下处理： 【邮件播报】 接收播报...
All-optical broadcast and multicast technologies based on PPLN waveguide
02-08
All-optical 1×4 broadcast and 1×3 multicast experiments of a 40-Gb/s return-to-zero on-off keying (RZ-OOK) signal based on a periodically poled lithium niobate (PPLN) waveguide are demonstrated in ...
broadcast-data-statistics-system
03-29
broadcast-data-statistics-system
Broadcast-Receivers-and-Permission
03-09
Broadcast-Receivers-and-Permission
[Alink漫谈之三] AllReduce通信模型
罗西的思考
05-17 1289
Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台，是业界首个同时支持批式算法、流式算法的机器学习平台。本文将带领大家来分析Alink中通讯模型AllReduce的实现。AllReduce在Alink中应用较多，比如KMeans，LDA，Word2Vec，GD，lbfgs，Newton method，owlqn，SGD，Gbdt, random forest都用到了这个通讯模型
Baidu All Reduce
weixin_30814329的博客
08-22 372
Baidu All Reduce，即Ring All Reduce。Ring All Reduce技术在高性能计算领域很常用，2017年被百度用于深度学习训练。 朴素All Reduce的通信时间随GPU节点数线性增长。Ring All Reduce的通信时间跟GPU节点数无关，只受限于GPU间最慢的连接。 Ring All Reduce包含两步：scatter reduce和al...
All Reduce算法汇总
weixin_30814329的博客
08-22 1337
1、朴素All Reduce 假设GPU节点数为N，两两GPU间的网络上下行带宽均为B，weight数据量S，那么broadcast（下图中的Receive）的通信时间：T = (N-1)S/B，可以看出T随N线性增长，当N很大时，这会成为严重的瓶颈。 当然，这是基于同步SGD。如果用异步SGD，通信时间会变短，但是异步SGD可能会不收敛。 2、Baidu All Reduce...
reduce_scatter 通信
大海中的游鱼
07-27 3546
算子原型 dist.reduce_scatter(output, input_list, op=<ReduceOp.SUM>, group=None, async_op=False) output(tensor): output tensor input_list(list[tensor]): list of tensors to reduce and scatter group(ProcessGroup, optional): the process group to work on, If
使用mpi实现broadcast、scatter、gather操作,代码
09-03
下面是使用MPI实现broadcast、scatter和gather操作的示例代码。 1. Broadcast操作：将一个进程的数据广播给所有其他进程。 ```c #include <stdio.h> #include <mpi.h> int main(int argc, char** argv) { MPI_Init(&argc, &argv); int my_rank, size; MPI_Comm_rank(MPI_COMM_WORLD, &my_rank); MPI_Comm_size(MPI_COMM_WORLD, &size); int data = 0; if(my_rank == 0) { data = 123; // 要广播的数据 } MPI_Bcast(&data, 1, MPI_INT, 0, MPI_COMM_WORLD); printf("Process %d, data = %d\n", my_rank, data); MPI_Finalize(); return 0; } ``` 2. Scatter操作：将一个进程的数据拆分发送给所有进程。 ```c #include <stdio.h> #include <mpi.h> int main(int argc, char** argv) { MPI_Init(&argc, &argv); int my_rank, size; MPI_Comm_rank(MPI_COMM_WORLD, &my_rank); MPI_Comm_size(MPI_COMM_WORLD, &size); int send_data[4]; // 要发送的数据数组 if(my_rank == 0) { for(int i = 0; i < size*4; ++i) { send_data[i] = i+1; // 填充发送数据数组 } } int recv_data; // 接收的数据 MPI_Scatter(send_data, 1, MPI_INT, &recv_data, 1, MPI_INT, 0, MPI_COMM_WORLD); printf("Process %d, data = %d\n", my_rank, recv_data); MPI_Finalize(); return 0; } ``` 3. Gather操作：将所有进程的数据收集起来，发送给一个进程。 ```c #include <stdio.h> #include <mpi.h> int main(int argc, char** argv) { MPI_Init(&argc, &argv); int my_rank, size; MPI_Comm_rank(MPI_COMM_WORLD, &my_rank); MPI_Comm_size(MPI_COMM_WORLD, &size); int send_data = my_rank + 1; // 要发送的数据 int recv_data[size]; // 接收的数据数组 MPI_Gather(&send_data, 1, MPI_INT, recv_data, 1, MPI_INT, 0, MPI_COMM_WORLD); if(my_rank == 0) { printf("Process %d, data = ", my_rank); for(int i = 0; i < size; ++i) { printf("%d ", recv_data[i]); } printf("\n"); } MPI_Finalize(); return 0; } ``` 以上是使用MPI实现broadcast、scatter和gather操作的代码示例。在实际应用中，可以根据需要进行修改和组合这些操作来实现更复杂的通信模式。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值