Boost mpi gatherv example

最新推荐文章于 2021-06-13 13:35:32 发布
最新推荐文章于 2021-06-13 13:35:32 发布
阅读量932 收藏
点赞数
分类专栏： MPI 文章标签： mpi
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CCMPI/article/details/50769662
版权 
#include "stdafx.h"
#include <boost/mpi.hpp>
#include <iostream>
#include <vector>
namespace mpi = boost::mpi;

#define Nelement 17
class cPoint
{
private:
 friend class boost::serialization::access;

template<class Archive>
 void serialize(Archive &ar, const unsigned int version)
 {
   ar & x;
   ar & y;
   ar & z;
   ar & m;
 }

public:
 double x,y,z;
 double m;
 cPoint(){m=-100;};
 cPoint(double xt,double yt,double zt,double mt):x(xt),y(yt),z(zt),m(mt){m=-100;};
};

int main(int argc, char *argv[])   {
  mpi::environment env(argc, argv);
  mpi::communicator world;
  int tag = 99;

   std::vector<int> LocNum;
   cPoint arr[1000]; //save collected data from all processes
   cPoint *pall;
   pall = &arr[0]; //initialize pointer

   std::vector<cPoint> my_data; //receive data from process 0;

    for(int i=0;i<world.size();i++){
    if(i == 0) LocNum.push_back(Nelement / world.size() + Nelement % world.size());
    else{
        LocNum.push_back(Nelement / world.size());}};   // Calculate number of data in each process

 if (world.rank() == 0) {
      std::vector<cPoint> AllData;
    for(int i=0;i<Nelement;i++)AllData.push_back(cPoint(i,i,i,5));

    int load = AllData.size() / world.size();
    int start = load + AllData.size() % world.size();

for (int i = 1; i < world.size(); ++i){
     std::vector<cPoint> to_send (AllData.begin()+start,AllData.begin()+start+load);
     world.send(i,tag,to_send);  //distribut data to all processes
     LocNum.push_back(load);
     start+=load;}

     for(int i=0;i<load+AllData.size()%world.size();i++){
         my_data.push_back(AllData[i]);   
         my_data[i].m = world.rank()+99; //here can do some computation
     }
}
 else {

 world.recv(0,tag,my_data); //received data from root process

 for(int i=0;i<my_data.size();i++){
    my_data[i].m = world.rank()+100;}  //here can do some computation

 }
//void gatherv(const communicator & comm, const std::vector< T > & in_values, T * out_values, const std::vector< int > & sizes, int root);
 boost::mpi::gatherv(world,my_data,pall,LocNum,0);  //gather all data to root process
  if(world.rank() == 0){
      for(int i=0;i<Nelement;i++){
         std::cout<<"No: "<<i<<'\t'<<arr[i].x<<'\t'<<arr[i].y<<'\t'<<arr[i].z<<'\t'<<arr[i].m<<std::endl;}}; 
 }

如果有16组数据用三个processes, 结果如下：
这里写图片描述

结果正确。

以上程序问题在于新开了数组来存放收集的数据，但应该把数据直接存放在root process上分发之前的vector中。

其实子进程不需要知道收集后数据存放地址的信息，可以在进程上用如下函数模板：

template<typename T> 
  void gatherv(const communicator & comm, const std::vector< T > & in_values, int root);

但在根进程上还要用前面的函数。做修改后，经测试，运行正常。程序如下：

#include "stdafx.h"
#include <boost/mpi.hpp>
#include <iostream>
#include <vector>
namespace mpi = boost::mpi;

#define Nelement 17
class cPoint
{
private:
 friend class boost::serialization::access;

template<class Archive>
 void serialize(Archive &ar, const unsigned int version)
 {
   ar & x;
   ar & y;
   ar & z;
   ar & m;
 }

public:
 double x,y,z;
 double m;
 cPoint(){m=-100;};
 cPoint(double xt,double yt,double zt,double mt):x(xt),y(yt),z(zt),m(mt){m=-100;};
};

int main(int argc, char *argv[])   {
  mpi::environment env(argc, argv);
  mpi::communicator world;
  int tag = 99;

   std::vector<int> LocNum;
   cPoint arr[1000]; //save collected data from all processes
   cPoint *pall;
   pall = &arr[0]; //initialize pointer

   std::vector<cPoint> my_data; //receive data from process 0;

    for(int i=0;i<world.size();i++){
    if(i == 0) LocNum.push_back(Nelement / world.size() + Nelement % world.size());
    else{
        LocNum.push_back(Nelement / world.size());}};   // Calculate number of data in each process

 if (world.rank() == 0) {
      std::vector<cPoint> AllData;
    for(int i=0;i<Nelement;i++)AllData.push_back(cPoint(i,i,i,5));

    int load = AllData.size() / world.size();
    int start = load + AllData.size() % world.size();

for (int i = 1; i < world.size(); ++i){
     std::vector<cPoint> to_send (AllData.begin()+start,AllData.begin()+start+load);
     world.send(i,tag,to_send);  //distribut data to all processes
     LocNum.push_back(load);
     start+=load;}

     for(int i=0;i<load+AllData.size()%world.size();i++){
         my_data.push_back(AllData[i]);   
         my_data[i].m = world.rank()+99; //here can do some computation
     }

      **boost::mpi::gatherv(world,my_data,pall,LocNum,0);  //gather all data to root** process
}
 else {

 world.recv(0,tag,my_data); //received data from root process

 for(int i=0;i<my_data.size();i++){
    my_data[i].m = world.rank()+100;}  //here can do some computation

     **boost::mpi::gatherv(world,my_data,0);  //gather all data to root process**
 }
//void gatherv(const communicator & comm, const std::vector< T > & in_values, T * out_values, const std::vector< int > & sizes, int root);
 //boost::mpi::gatherv(world,my_data,pall,LocNum,0);  //gather all data to root process
  if(world.rank() == 0){
      for(int i=0;i<Nelement;i++){
         std::cout<<"No: "<<i<<'\t'<<arr[i].x<<'\t'<<arr[i].y<<'\t'<<arr[i].z<<'\t'<<arr[i].m<<std::endl;}}; 
 }

经过以上修改后，可以看出，其实用来存放搜集后数据的数组不需要在root process之外定义，因此可以把

   cPoint arr[1000]; //save collected data from all processes
   cPoint *pall;
   pall = &arr[0]; //initialize pointer

直接移进process 0之内。修改后测试，运行正常。

回到一开始的问题，其实存放搜集后数据的数组可以直接用初始的数组，不需要另开，因此在root process之内，可以直接将指向存数据的pointer处世化为Alldata[0]:

cPoint *pall;
   // pall = &arr[0]; //initialize pointer
     pall = &AllData[0]; //initialize pointer

这样就不需要定义：arr[1000]这个数组了。最后修改后的代码如下：

#include "stdafx.h"
#include <boost/mpi.hpp>
#include <iostream>
#include <vector>
namespace mpi = boost::mpi;

#define Nelement 17
class cPoint
{
private:
 friend class boost::serialization::access;

template<class Archive>
 void serialize(Archive &ar, const unsigned int version)
 {
   ar & x;
   ar & y;
   ar & z;
   ar & m;
 }

public:
 double x,y,z;
 double m;
 cPoint(){m=-100;};
 cPoint(double xt,double yt,double zt,double mt):x(xt),y(yt),z(zt),m(mt){m=-100;};
};

int main(int argc, char *argv[])   {
  mpi::environment env(argc, argv);
  mpi::communicator world;
  int tag = 99;

   std::vector<int> LocNum;


   std::vector<cPoint> my_data; //receive data from process 0;

    for(int i=0;i<world.size();i++){
    if(i == 0) LocNum.push_back(Nelement / world.size() + Nelement % world.size());
    else{
        LocNum.push_back(Nelement / world.size());}};   // Calculate number of data in each process

 if (world.rank() == 0) {
      std::vector<cPoint> AllData;
    for(int i=0;i<Nelement;i++)AllData.push_back(cPoint(i,i,i,5));
    cPoint *pall;
    pall = &AllData[0]; //initialize pointer

    int load = AllData.size() / world.size();
    int start = load + AllData.size() % world.size();

for (int i = 1; i < world.size(); ++i){
     std::vector<cPoint> to_send (AllData.begin()+start,AllData.begin()+start+load);
     world.send(i,tag,to_send);  //distribut data to all processes
     LocNum.push_back(load);
     start+=load;}

     for(int i=0;i<load+AllData.size()%world.size();i++){
         my_data.push_back(AllData[i]);   
         my_data[i].m = world.rank()+99; //here can do some computation
     }

      boost::mpi::gatherv(world,my_data,pall,LocNum,0);  //gather all data to root process

      for(int i=0;i<Nelement;i++){
        // std::cout<<"No: "<<i<<'\t'<<arr[i].x<<'\t'<<arr[i].y<<'\t'<<arr[i].z<<'\t'<<arr[i].m<<std::endl;}; 
           std::cout<<"No: "<<i<<'\t'<<AllData[i].x<<'\t'<<AllData[i].y<<'\t'<<AllData[i].z<<'\t'<<AllData[i].m<<std::endl;}; 
}
 else {

 world.recv(0,tag,my_data); //received data from root process

 for(int i=0;i<my_data.size();i++){
    my_data[i].m = world.rank()+100;}  //here can do some computation

     boost::mpi::gatherv(world,my_data,0);  //gather all data to root process
 }
//void gatherv(const communicator & comm, const std::vector< T > & in_values, T * out_values, const std::vector< int > & sizes, int root);
 //boost::mpi::gatherv(world,my_data,pall,LocNum,0);  //gather all data to root process

 }

综上，此程序可以将root process上的数据分发到其它进程，然后再搜集回root进程。

CCMPI
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【BOOST C++ 14 消息编程】（1） Boost.MPI
gongdiwudu的专栏
11-19 3475
Boost.MPI 提供了 MPI 标准（消息传递接口）的接口。该标准简化了并发执行任务的程序的开发。您可以使用线程或通过共享内存或网络连接使多个进程相互通信来开发此类程序。 MPI 的优点是你不需要关心这些细节。您可以完全专注于并行化您的程序。
xgboost-mpi-example
05-14
使用MPI和SLURM的XGBoost分布式执行示例要求奴隶MPI Python XGBoost python模块安装git clone https://github.com/dmlc/dmlc-core.gitcd dmlc-coremake跑步bash deploy.sh
qt使用boost工程模板
08-19
在IT领域，Qt和Boost是两个非常重要的库，它们各自为开发者提供了丰富的功能。Qt是一个跨平台的应用程序开发框架，广泛用于创建GUI（图形用户界面）应用，而Boost则是一系列C++库，旨在提升标准库的功能并提供现代...
MPI.rar_MPI
09-20
集合通信包括`MPI_Scatter`、`MPI_Gatherv`、`MPI_Allreduce`等，它们涉及一组进程的集体操作，确保所有参与进程同步执行。窗口机制允许进程直接访问远程内存，实现了更高效的数据共享。 在MPI编程中，了解并合理...
MPI.zip_linux mpi
09-21
4. **集合操作**：如`MPI_Reduce`用于执行诸如求和、最大值等操作，`MPI_Scatter`和`MPI_Gatherv`用于在进程间分散和收集数据。 **Linux环境下的MPI编程** 在Linux环境下，MPI通常通过Open MPI、MPICH或Intel MPI...
MS_MPI SDK及运行环境安装包
09-22
MS_MPI V7安装包，mpi在windows平台的实现 MS_MPI V7安装包，mpi在windows平台的实现 MS_MPI V7安装包，mpi在windows平台的实现
基于MPI得并行矩阵乘法 Cannon算法实现
09-10
该程序基于 Boost 和 MPI 实现了Cannon 算法实现对矩阵得并行求积。
mpi.rar_MPI
09-23
MPI，全称Message Passing Interface（消息传递接口），是并行计算领域中的一种标准通信库，用于在多处理器系统上编写并行程序。本资源“mpi.rar_MPI”提供了一个基于C++的简单应用示例，适合初学者理解MPICH（MPICH...
Boost MPI scatter
CCMPI的博客
02-27 1179
boost::mpi::scatter 可以把一个vector中的元素传递给其他所有进程。#include "stdafx.h" #include <boost/mpi.hpp> #include <boost/serialization/string.hpp> #include <vector> #include <string> #include <iostream> namespace mpi
使用 Boost 的 IPC 和 MPI 库进行并发编程
Coder
12-20 1357
boost MPI有一个好处是和STL的容器支持很好，对一般的class也有自己的allocate，如果从最底层开发所有的部件，从boost MPI 入手是个不错的选择。 使用非常流行的 Boost 库进行并发编程非常有意思。Boost 有几个用于并发编程领域的库：Interprocess (IPC) 库用于实现共享内存、内存映射的 I/O 和消息队列；Thread 库用于实现可移植
boost::mpi模块对gather() 和gatherv() 集合的测试
希望我的博客，能帮上你解决学习中工作中所遇到的问题
06-13 294
boost::mpi模块对gathe 和gatherv 集合的测试实现功能C++实现代码 实现功能 boost::mpi模块对gather() 和gatherv() 集合的测试 C++实现代码 #include <boost/mpi/collectives/gather.hpp> #include <boost/mpi/collectives/gatherv.hpp> #include <boost/mpi/communicator.hpp> #include <b
Boost MPI 介绍
杨德龙的专栏
02-15 8654
documenthttp://www.boost.org/doc/libs/1_38_0/doc/html/index.html http://docs.python.org/3.0/   作者将陆续介绍boost mpi库用法，先介绍boost的安装
Boost.MPI传递用户自定义类型
qq_34563294的博客
03-21 654
BoostMPI传递用户自定义类型 typedef Eigen::Matrix<double,3,1> vec3d; typedef Eigen::Matrix<int,3,1> vec3i; class Node { public: vec3d coord,disp,vel,acc; int global_id,local_id; public:...
MS-MPI+boost 编译
CCMPI的博客
02-26 2494
First, the MPI should work, Before using Boost MPI, the computer should have a working MPI implementation. Boost MPI should work with any MPI implementation. The following codes can be used to test if
MPI-MPI_Scatterv vector
CCMPI的博客
02-17 2200
Goal: 有一个vector, 对每个元素进行一个除法操作，然后将结果再收集到主结点。直接上程序：#include"stdafx.h" #include"mpi.h" #include"stdio.h" #include"stdlib.h" #include<iostream> #define N 20 using namespace std; int main(int argc,char* ar
Boost MPI send and recv
CCMPI的博客
02-27 790
#include "stdafx.h" #include <boost/mpi.hpp> #include <iostream> #include <vector> #include "VecAndMatrix.h" namespace mpi = boost::mpi;class cPoint { private: friend class boost::serialization::acces
boost mpi send recv-vector<class>
CCMPI的博客
03-01 619
接上例：如果vector中元素是class,要将他们分给不同进程，程序如下：#include "stdafx.h" #include <boost/mpi.hpp> #include <iostream> #include <vector> #include "VecAndMatrix.h" namespace mpi = boost::mpi;class cPoint { private: fr
qt boost mpi 处理图像队列
最新发布
08-04
接下来，可以利用Boost的MPI功能，将图像队列分发给不同的计算节点进行并行处理。MPI可以提供进程间的通信机制，使得不同的计算节点可以传递数据和结果。 在并行处理过程中，各个计算节点可以独立地处理图像队列中...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值