MPI 学习笔记（二）——集合通信函数图解

最新推荐文章于 2022-12-04 06:30:14 发布
最新推荐文章于 2022-12-04 06:30:14 发布
阅读量2k 收藏 15
点赞数 8
分类专栏： 并行计算 文章标签： MPI
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/q19149/article/details/102594031
版权
这篇博客深入解析了MPI的集合通信函数，包括MPI_Bcast、MPI_Scatter、MPI_Gather等，通过图形化的方式展示了各函数的工作原理和数据流动，帮助理解MPI并行计算中的数据分布与同步。
摘要由CSDN通过智能技术生成

接上一篇笔记

详细图解了 MPI 集合通信函数.

以下图中, 矩形代表进程, 较小的带颜色的矩形代表数据.

MPI_Bcast

数据广播，给每个进程都发送一份相同的数据

MPI_Scatter

在这里插入图片描述

MPI_Gather

在这里插入图片描述

MPI_Allgather

在这里插入图片描述

MPI_Alltoall

在这里插入图片描述

MPI_Reduce

最低0.47元/天 解锁文章
Coohoder
关注
  • 8
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
MPI 学习笔记（三）——集合通信API
q19149的博客
10-17 748
运行时间 double MPI_Wtime(void); // 返回一个浮点数表示的秒数 double MPI_Wtick(void); //返回 MPI_Wtime 的精度,单位是秒, 可以认为是一个时钟一个 tick(滴答)所占用的时间. 数据打包(pack) 发送不相同类型的数据时,打包发送. 执行一次打包进一部分. int MPI_Pack(void* inbuf, int incou...
MPI 集合通信函数 MPI_Reduce()，MPI_Allreduce()，MPI_Bcast()，MPI_Scatter()，MPI_Gather()，MPI_Allgather()，MPI_S
yu132563的专栏
11-10 7295
MPI 集合通信函数 MPI_Reduce()，MPI_Allreduce()，MPI_Bcast()，MPI_Scatter()，MPI_Gather()，MPI_Allgather()，MPI_Scan()，MPI_Reduce_Scatter() ▶ 八个常用的集合通信函数 ▶ 规约函数 MPI_Reduce()，将通信子内各进程的同一个变量参与规约计算，并向指定的进程输出计算结果 ●...
All_gather的MPI并行实现
12-14
全局收集（Allgather）群集通信函数MPI_Allgather()中，Allgather操作相当于从每个进程都作为root进程执行一次Gather调用，即每一个进程都按照Gather的方式收集来自所有进程（包括自己）的数据
NCCL 集合通信--Collective Operations
greatcoder的博客
07-25 1732
N个设备参与的broadcast，root是函数中指定的introot（以上图为例则是2)，初始状态下，rank为root（上图中2）的设备上的sendbuffer长度为count。运行结束后，所有参与broadcast的N个设备上的recvbuffer长度为count，且所有N个rank的recvbuffer部分的数据均来自于root设备的sendbuffer的拷贝。,in_N-1，运行结束后，N个设备上的recvbuffer内容均相同，长度均为。..................
MPI——通信集合
绝尘
09-19 5284
通信集合 树形结构通信 一开始1、3、5、7号进程都将它们的值发送给0、2、4、6。然后0、2、4、6进程都将接收到的值加到它们自己原有的值，整个过程重复两次。 但是这个解决的方案不是最理想的，因为其中一半的进程的工作量与原来方案相同。原来的方案需要0号进程接收comm_sz-1=7次。而新的方案中0号进程只需要3次接收和3次加法，并且其他进程所有的接收与加法操作不超过2次。所以，如果所有进程几...
MPI图拓扑
weixin_42194515的博客
03-29 405
MPI图拓扑 MPI图拓扑就是用有向图（数据结构里的）来描述处理器（进程）的组织结构，帮助我们分析和解决 MPI的通信问题 图的基本元素（弧是有方向的，由顶点集和弧集构成的图为有向图） 1.顶点的集合 2.弧的集合 3.邻接点 4.度 一个 MPI图拓扑具有四个基本元素就是类比有向图 节点：处理器(进程) 链接：节点之间的通信器 箭头：确定起点和终点就是弧的方向 索引：描述节点度的整数 图拓扑只能在内部通讯器内使用 图节点数不应该超过处理器的数量 可以通过重组寻址过程，提高通信速度 可以使用非对称结构也可以
MPI图拓扑实操
weixin_42194515的博客
03-29 666
MPI图拓扑实操 Node Nneighbours index edges 0 1 0+1=1 1 1 2 1+2=3 0, 2 2 2 3+2=5 1, 3 3 1 5+1=6 2 先来一个例子具体代码解析在范例后 如果遇到运行不成功的问题见文末有各种bug的解决方案 #include <iostream> #include "mpi.h" #include <stdio.h> #include <stdlib.h> #include
MPI学习笔记（四）——组合通信子的管理
q19149的博客
10-23 1986
组和通信子的管理 组(Group) 组是一个进程的有序集合，在实现中可以看作是进程标识符的一个有序集。组内的每个进程与一个整数rank相联系，序列号从0开始并且是连续的。我们可以在通信组中使用组来描述通信空间中的参与者并对这些参与者进行分级（这样在通信空间中为它们赋予了唯一的名字）。 创建 //建立一个通信组对应的新进程组 int MPI_Comm_group(MPI_Comm comm, MPI...
MPI进程通信实例——用MPI实现梯形积分法(C++)
yjjgoodbay的博客
11-24 4798
本文只要介绍用MPI实现并行化的梯形积分法，进一步熟悉和理解MPI并行编程的基本思想和设计原则，涉及并行计算 I/O操作、集合通信、MPI_Reduce函数等多个知识点。
MPI并行编程学习——Send&Recv、消息发送接收函数
ZG____的博客
07-10 1万+
消息发送函数：原型为 int MPI_Send(void *buf, int count, MPI_Datatype datatype, int goal, int tag, MPI_Comm comm)参数意义：buf为消息的地址，count是内容的数量，datatype为消息内容的数据类型，goal为目标进程编号，tag为消息的标志，comm为通信域。此函数将buf里的count个类型为dat...
《并行程序设计导论》 mpi中集合通信
qq_41180336的博客
10-18 841
#通信类型 ##mpi点对点通信，分为阻塞型和非阻塞型blocking 阻塞型通信函数需要等待指定的操作实际完成，或所涉及的数据被MPI系统安全备份后才返回，如MPI_Send和MPI_Recv函数 非阻塞型通信函数总是立刻返回，实际操作由mpi后台进行完成，需要调用其它函数来查询通信是否完成，如MPI_ISend和MPI_IRecv函数 ##mpi集合通信 是一个进程组中的所有进程都参加的全局通...
MPI: 虚拟拓扑和近邻通信
最新发布
weixin_42849849的博客
12-04 1037
MPI虚拟拓扑和近邻通信
并行处理及分布式系统 第三章 用MPI进行分布式内存编程
qq_52808734的博客
09-27 1211
并行处理及分布式系统，计算机科学与技术课程，学习笔记，初学者
MPI Reduce and Allreduce
yiran103的专栏
04-08 1万+
以下内容翻译自：MPI Reduce and Allreduce 在上一课中，我们介绍了使用MPI_Scatter和MPI_Gather执行MPI并行排序计算的应用示例。我们将通过MPI_Reduce和MPI_Allreduce进一步扩展集合通信例程。 注——本网站的所有代码均位于GitHub上。本教程的代码位于tutorials/mpi-reduce-and-allreduce/cod...
MPI笔记（三）集合通信
David
04-16 3393
1. 同步 2. 数据传递 3. 规约 /* 集合通信： 集合操作的三种类型： 1. 同步，等待所有进程都就绪 2. 数据传递，广播、分散、收集、全部到全部 3. 规约，集合中的其中一个进程收集所有进程的数据并计算（类似MapReduce） 集合操作是阻塞的 只支持MPI的标准数据类型，不支持派生类型 函数： MPI_Barrier MPI_Barrier (com...
我的并行计算之路（四）MPI集合通信之Reduce和Allreduce
度凡心的博客
09-04 1万+
今天学习了MPI的全局函数，顾名思义，其涉及到了一个通信子中的所有进程，属于集合通信的一种。虽说我们有点对点通信来实现求和、求积等功能，但是对于找到所有进程中的最大值、最小值的功能来说，可能就比较繁琐了。而且，点对点通信最后一般都由一个进程（通常是0号进程）来做总结的工作，例如各个进程的部分和传给0号进程，然后0号进程求总和。这样所有分支汇集在一起的做法会导致各个进程的工作量分配不均，某些进程比较闲
MPI学习-MPI_Bcast and MPI_Scatter
susan_wang1的博客
11-25 4745
MPI_Bcast： distribute to all processes witnin the communicator an identical piece of data. Function Call Syntax:int MPI_Bcast(void *buffer, /*starting address of the send buffer*/ int count, /*num
MPI之聚合通信-Scatter，Gather，Allgather
热门推荐
sinat_22336563的博客
04-18 3万+
MPI 一、 MPI_ScatterMPI_Scatter与MPI_Bcast非常相似，都是一对多的通信方式，不同的是后者的0号进程将相同的信息发送给所有的进程，而前者则是将一段array 的不同部分发送给所有的进程，其区别可以用下图概括： 0号进程分发数据的时候是根据进程的编号进行的，array中的第一个元素发送给0号进程，第二个元素则发送给1号进程，以此类推。MPI_Scatter(
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值