MPI本身没有容错机制
除了编写业务逻辑代码之外,还需要搭建集群。《基于MPI的大数据高性能计算导论》里介绍的互联网络拓扑结构(环、环面、超立方体)应该算是集群的逻辑结构,实现的物理结构并我没有说明。除了设计、编码时,要考虑逻辑拓扑接口外,具体运行配置也需要配合逻辑拓扑和具体数据移动相关,目前还没找到相关方面的介绍。mpiexec的命令帮助有很大参考价值。
MPI有三个版本,所有,mpiexec的帮助有三个版本
mpiexec --help
mpiexec --help2
mpiexec --help3
MPI不同发送/接收操作协议对比
阻塞操作 | 非阻塞操作 | |
---|---|---|
缓冲 | send操作在数据拷贝到数据缓冲区之后完成 | send初始化MDA(直接内存访问)之后,完成send操作,DMA可以将数据转移到数据缓冲区。读操作在函数返回后不一定完成。 |
非缓冲 | 阻塞send操作直到碰到一个相应的receive操作 | 带定义 |
含义 | 配对send和receive操作的语义 | 程序设计者除了需要检查操作状态,还须明确指出语义 |
MPI常用接口
MPI接口 | 功能 |
---|---|
MPI_Init | 初始化MPI库 |
MPI_Finalize | 终止MPI |
MPI_Comm_size | 返回进程数量 |
MPI_Comm_rank | 当前正在进行的进程的标识号 |
MPI_Send | 发送消息(阻塞) |
MPI_Recv | 接收消息(阻塞) |
MPI_Isend | 发送消息(非阻塞) |
MPI_IRecv | 接收消息(非阻塞) |
MPI_Sendrecv | 双向通信 |
广播(MPI_Bcast):一对多
int MPI_Bcast(void *buffer, int count, MPI_Datatype datetype, int root, MPI_Comm comm);
散播(MPI_Scatter):个性化广播,向所有进程发送不同的消息
int MPI_Scatter(void *sendbuf, int sendcount, MPI_Datatype sendtype, void *recvbuf, int recvcount, MPI_Datatype recvtype, int root, MPI_Comm comm);
收集(MPI_Gather):将所有进程的单个消息收集到当前正在调用的进程(散播的你操作)
int MPI_Gather(void *sendbuf, int sendcount, MPI_Datatype sendtype, void *recvbuf, int recvcount, MPI_Datatype recvtype, int root, MPI_Comm comm);
规约(MPI_Reduce):计算
∑
i
=
0
n
v
i
,
∏
i
=
0
n
v
i
\sum_{i=0}^{n} v_i, \prod_{i=0}^{n} v_i
∑i=0nvi,∏i=0nvi等
int MPI_Reduce(void *sendbuf, void *recvbuf, int count, MPI_Datatype datatype, MPI_Op op, int root, MPI_Comm comm);
扫描(MPI_Scan):
int MPI_Scan(void *sendbuf, void *recvbuf, int count, MPI_Datatype datatype, MPI_Op op, MPI_Comm comm);
全规约(MPI_Allreduce):
int MPI_Allreduce(void *sendbuf, void *recvbuf, int count, MPI_Datatype datatype, MPI_Op op, MPI_Comm comm);
Monte-Carlo随机积分算法估算
π
\pi
π
https://github.com/5455945/cpp_demo/blob/master/MPI/src/MPIMonteCarloPi.cpp
MPIMonteCarloPi.cpp
//《基于MPI的大数据高性能计算导论》
// Frank Nielsen 张伟哲译 2018年7月第一版第一次印刷
// https://www.lix.polytechnique.fr/~nielsen/HPC4DS/
// filename: MPIMonteCarloPi.cpp
#include "mpi.h"
#include <cassert>
#include <ctime>
#include <iostream>
// mpiexec MPIMonteCarloPi.exe
#define random() (rand() / double (RAND_MAX) * 2 - 1)
int main(int argc, char** argv) {
int comm_sz;
int my_rank;
MPI_Init(&argc, &argv);
MPI_Comm_size(MPI_COMM_WORLD, &comm_sz);
MPI_Comm_rank(MPI_COMM_WORLD, &my_rank);
long long int count_time; // 总的计算次数
long long int Cal[2] = { 0 };
if (my_rank == 0) {
count_time = 10000000;
long long int tempCal[2] = { 0 };
assert(comm_sz > 1);
long long int width = count_time / (comm_sz - 1);
long long int reminder = count_time % (comm_sz - 1);
long long int temp_count_time;
for (int i = 1; i < comm_sz; ++i)
{
temp_count_time = width;
if (i <= reminder) temp_count_time++;
MPI_Send(&temp_count_time, 1, MPI_LONG_LONG_INT, i, 0, MPI_COMM_WORLD);
}
for (int i = 1; i < comm_sz; ++i)
{
MPI_Recv(tempCal, 2, MPI_LONG_LONG_INT, i, 0, MPI_COMM_WORLD, MPI_STATUSES_IGNORE);
for (int j = 0; j < 2; ++j) { Cal[j] += tempCal[j]; }
}
std::cout << 4.0 * Cal[0] / count_time << std::endl;
} // 运算的子节点
else {
srand((unsigned)time(NULL));
MPI_Recv(&count_time, 1, MPI_LONG_LONG_INT, 0, 0, MPI_COMM_WORLD, MPI_STATUSES_IGNORE);
Cal[1] = count_time;
Cal[0] = 0;
double x, y, dst;
for (int i = 0; i < count_time; ++i) {
x = random();
y = random();
dst = x * x + y * y;
if (dst <= 1) Cal[0] += 1;
}
MPI_Send(Cal, 2, MPI_LONG_LONG_INT, 0, 0, MPI_COMM_WORLD);
}
MPI_Finalize();
return 0;
}
运行结果
mpiexec MPIMonteCarloPi.exe
3.13993