mpi学习日志(4):mpi4py与散播等

最新推荐文章于 2024-08-30 11:09:12 发布
最新推荐文章于 2024-08-30 11:09:12 发布
阅读量1.5k 收藏 3
点赞数 2
分类专栏： mpi学习 文章标签： mpi mpi4py
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ljhandlwt/article/details/51944429
版权
本文介绍了使用mpi4py在MPI中实现散播、收集和reduce操作。散播允许一个进程将数据分散到多个进程中，而收集则将多个进程的数据汇总到一个进程。reduce通过连续的二元运算聚合数据，例如求和，用于高效计算π的近似值。文中通过代码示例和运行结果展示了这些操作的工作原理。
摘要由CSDN通过智能技术生成

今天要学习的是散播等多点通信.


散播:

什么是散播?就是发送方要把一堆数据发送出去,但接收方只接收其中的一个.

下图是一个散播和广播的对比.



同样的,散播也是能等价于多个点对点通信,也同样的有效率问题.

只是在考虑效率的时间,我们应该考虑建立通信的时间远大于数据拷贝的时间,比较好.

广播使用的函数是bcast,而散播则是scatter


代码:



运行结果:

最低0.47元/天 解锁文章
ljhandlwt
关注
专栏目录
mpi学习日志(2):mpi4py与点对点通信
ljhandlwt
07-18 1961
前文说到,mpi是信息传递接口,因此信息传递是mpi的重点.而进程中的信息传递就是进程通信!今天我们将看看mpi创建的一组进程是怎么相互通信的. 进程通信有许多种,点对点通信,广播,散播等.今天我们先学习点对点通信. 什么是点对点通信?其实就是最简单的进程A向进程B发送信息,而进程B向进程A接收信息.这个关于两个进程之间的通信. 代码: 运行结果:
mpi学习日志(11):mpi4py与Spawn(没法用MSMPI实现)
ljhandlwt
07-21 1915
上一篇我们用mpi实现了简单的并行矩阵乘法算法. 在这个算法中,有一个缺陷,进程数必须事先确定好. 没错,至今为止我们写过的mpi代码都是事先规定好进程数的. 那么,能不能动态创建进程?能不能在运行时,根据需要创建不同数目的进程? 答案当然是可以的!用Spawn函数就可以! 代码: test.py(master) test2.py(slave)
mpi学习日志(9):mpi4py与Split
ljhandlwt
07-19 1286
上两篇中,我们学习了如何创建新的通信组. 有时候,我们需要把进程分成若干组,它们各自形成新的通信组. 如果还是用Create()去实现的话,未免有点麻烦. 于是,Split函数横空出世,帮我们解决这个麻烦. Split方法和Create一样,也是通信子的所有进程都要调用这个函数,同样也是有barrier的全局同步. 每个进程都要向Split提供一个color,color是一个int.所有
mpi4py安装不上的解决方案（终极版）
最新发布
cc514981717的博客
08-30 494
最近有个项目（别人的）需要用mpi4py这个包，但是一直都装不上，网上搜了很多解决方案，试了很多都不行，最后去mpi4py项目的issue里面看了一圈，大概明白了这个问题是啥（以及解决方案）
mpi4py 中的全发散操作
自可乐的博客
04-04 293
本文从本人简书博客同步过来 在上一篇中我们介绍了 mpi4py 中的规约发散操作方法，下面我们将介绍全发散操作。 对组内通信子上的全发散操作，组内所有进程都会执行散发操作，并从所有进程接收数据。 对组间通信子上的全发散操作，假定相关联的组为 group A 和 group B，group A 中的所有进程都会向 group B的各个进程散发消息，同时 group B 的各个进程也会向 gro...
mpi学习日志(12):mpi4py与需要buf的大写版本函数
ljhandlwt
08-16 1151
在第二篇我们说过mpi里的函数很多都有大写和小写的版本,并且大写的版本是需要buffer的,但那时候并没有说明怎么使用和为什么要这样用,今天就让我填这个坑吧. 为什么? 这次先说为什么,为什么需要有大写版本的函数? 事实上我们是把因果颠倒了,在c语言里,MPI只有大写版本的函数,没有小写版本的. 显然,关注效率的C语言当然会更喜欢你提供一个buffer,然后拷贝复制,而不是通过返回
mpi学习日志(5):mpi4py与多点通信续
ljhandlwt
07-19 2557
在多点通信里我们已经学习了广播bcast,散播scatter,收集gather,规约reduce. 今天我们再来简略看一些可能更为少用的多点通信. 1.allgather 简单来说就是收集+广播. gather中只有根进程会得到收集到的信息,而allgather则是所有进程都会得到收集到的信息,就相当于收集后再广播一次. 2.allredu
mpi学习日志(10):mpi4py实现简单并行矩阵乘法
ljhandlwt
07-20 3485
除了之前利用gather求π之外,我们就没有写过mpi程序的实例. 今天我们就尝试用mpi去写一个简单的并行矩阵乘法,虽说是并行,但不是使用经典的分治去处理,而只是简单地每个进程计算一个格子的值. 计算的式子是这样的,3*2的矩阵A乘上2*3的矩阵B,得到3*3的矩阵C. 这样的话,我们就需要9个进程去计算每个格子的值. 问题分析: 我们假设一开始只有进程0拥有矩阵A和B
python mpi4py_mpi4py实践
weixin_39857174的博客
12-15 570
版权声明：本文为博主原创文章，未经博主允许不得转载。1.概述MPI(Message Passing Interface)，消息传递接口，是一个标准化和轻便的能够运行在各种各样并行计算机上的消息传递系统。消息传递指的是并行执行的各个进程拥有自己独立的堆栈和代码段，作为互不相关的多个程序独立执行，进程之间的信息交互完全通过显示地调用通信函数来完成。mpi4py是构建在MPI之上的Python非官方库，...
mpi学习日志(1):mpi与python
ljhandlwt
07-18 6764
MPI是什么?它用来干什么? MPI是信息传递接口(Message Passing Interface),简单来说就是一个用来实现进程通讯的库.它很多时候用于并行算法的设计. 下面我们先使用windows环境下python语言来了解mpi的使用. mpi在python的环境还是很好配置的.首先你得安装好python和pip.然后直接用pip安装mpi在python的库,mpi4py.
MPI学习-点对点通信
susan_wang1的博客
11-23 3232
MPI点对点通信
学习笔记：MPI组通信的散发与组收集
10-26 1216
散发 在MPI组通信中，散发操作有两个函数，分别是MPI_Scatter与MPI_Scatterv。分别与之前所说的MPI_Gather,MPI_Gatherv为互逆操作。 MPI_Scatter 使用MPI_Scatter函数可以将root进程的发送缓冲区中的数据顺序地分发给各个进程（自己的接收缓冲区也会接收到）。调用方式为：MPI_Scatter(sendbuf,sendcount,sendt...
mpi4py 中的发散操作
自可乐的博客
03-30 1045
在上一篇中我们介绍了 mpi4py 中的广播操作方法，下面将介绍发散操作。 对组内通信子对象，发散操作从组内的根进程分别向组内进程散发不同的消息。 对组间通信子对象，发散操作的函数调用应该包含组间通信子内的所有进程，且其中必须有一个组定义了根进程，数据将从根进程散发给根所处组之外组的所有进程。根进程的 root 参数使用 MPI.ROOT，根进程所处组内的其它进程 root 参数为 MPI.P...
python mpi4py 读取json_Python：使用mpi4py通过spawn将数组bcast到其他脚本
weixin_39897687的博客
12-15 180
我尝试编写两个脚本，一个是主脚本，一个是worker，其中主脚本将生成worker的多个进程，然后向worker派生bcast一个numpy数组。从mpi4py在线教程的数量来看，我觉得我理解这个概念，但是我编写的任何测试代码都不能成功地将数组发送给工人。我没有收到错误，但他们从来没有收到数组。在有人能给我一个清楚的例子，说明如何使用mpi4py、spawn和bcast将数组广播到多个派生的wor...
mpi4py 的一些使用技巧
自可乐的博客
04-20 2366
本文从本人简书博客同步过来 在上一篇中我们介绍了 mpi4py 中的访问文件数据操作方法，至此 mpi4py 中最主要的内容已经基本介绍完毕，下面我们将介绍 mpi4py 的一些使用技巧。 兼容非 MPI 编程 从前面的介绍可知，使用 mpi4py 进行 Python 环境下的 MPI 编程是比较容易的，在不牺牲 Python 本身的灵活性和易用性的基础上，mpi4py 可以使我们轻松地...
mpi4py.MPI
Baobabs的博客
06-07 469
简单记录一个mpi4py.MPI并行计算代码 简单分享一个mpi4py.MPI入门的编程实例 最近需要优化电磁场仿真速度，本着学习一下mpi4py并行方面的知识，找了半天网上找不到编程实例，最后自己总结了一下稍微给大家分享一个小的并行计算实例，mpi4py的库安装以及一些常识大家可以在官网上找到，这里我不过多叙述了。 文章目录简单记录一个mpi4py.MPI并行计算代码前言一、原始串行代码二、使用mpi4py并行1.简单写一个numpy.array拆分函数2.并行程序总结 前言 大概讲一下要实现的程序功能
python 多核并行计算_Python 高性能并行计算之 mpi4py
weixin_39950772的博客
12-02 284
MPI 和 MPI4PY 的搭建上一篇文章已经介绍，这里面介绍一些基本用法。mpi4py 的 helloworldfrom mpi4py importMPIprint("hello world")mpiexec -n 5 python3 x.py2. 点对点通信因为 mpi4py 中点对点的 通信 send 语句 在数据量较小的时候是把发送数...
ModuleNotFoundError: No module named ‘mpi4py‘
weixin_51762856的博客
11-06 3721
装完之后运行程序，就直接卡死了，完全没有输出，按ctrl+c也无法退出。这几天复现论文的时候，部分项目需要用到mpi4py库。运行完这两句之后，再pip安装mpi4py就能装上了。这似乎是因为pip安装的mpi4py是不完整的。这样安装的mpi4py就是完整的了。查找了一些网上的方法。
mpi4py中加载MPI DLL时出错
qq_41048761的博客
04-25 5548
执行 from mpi4py import MPI 找不到 module named MPI；或者找不到 DLL 文件。 解决方案： 1、下载Microsoft MPI 2、重新安装mpi4py pip uninstall mpi4py pip install mpi4py
MPI并行编程学习教程：详细过程与自学指南
知识点4：点对点通信与集体通信 点对点通信涉及两个进程之间的消息传递，如MPI_Send和MPI_Recv函数。而集体通信则涉及一组进程间的通信操作，例如MPI_Bcast、MPI_Reduce、MPI_Gather等函数。在MPI中，这些集体通信...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值