MPI复习
下载安装MPI
操作系统: ubuntu16.04
处理器: Intel Core I3
命令: sudo apt-get install mpich
第一个MPI程序
Hello World
#include <stdio.h>
#include <string.h>
#include <stdlib.h>
#include "mpi.h"
const int MAXN = 1e2;
int main() {
int n = MAXN;
char greeting[MAXN];
int my_rank, comm_sz;
MPI_Status status;
MPI_Init(NULL, NULL);
MPI_Comm_rank(MPI_COMM_WORLD, &my_rank);
MPI_Comm_size(MPI_COMM_WORLD, &comm_sz);
if (my_rank == 0) {
printf("Greetings from process %d of %d!\n",
my_rank, comm_sz);
for (int i = 1; i < comm_sz; i++) {
MPI_Recv(greeting, n, MPI_CHAR, i, 0,
MPI_COMM_WORLD, &status);
printf("%s\n", greeting);
}
} else {
sprintf(greeting, "Greetings from process %d of %d!",
my_rank, comm_sz);
MPI_Send(greeting, strlen(greeting) + 1, MPI_CHAR, 0, 0,
MPI_COMM_WORLD);
}
MPI_Finalize();
return 0;
}
编译方法
mpi框架在gcc的基础上使用脚本进行编译, 所以第一个名字要换为mpicc, 其余编译格式与gcc相同.
mpicc demoMpi.c -o demoMpi
同理, mpi框架的运行方式也是使用脚本开始运行, 所以不能直接输入可执行程序名运行, 同时argc和argv值的可以为0, 直接在脚本中传入参数.
mpirun -n <processer number> ./demoMpi
MPI的接口设计
命名方式
常量全部大写, 单词间用下划线分割. 第一个词必定是MPI
函数MPI和第一个单词首字母大写, 单词间用下划线分割, 第一个词必定是MPI
并行部分
MPI_Init和MPI_Finalize()之间的部分.
Init传入参数直接设置为NULL即可, 因为脚本传入参数.
MPI_Init(NULL, NULL);
...
MPI_Finalize();
MPI通信子
一组可以互发消息的进程集合.
缺省通信子MPI_COMM_WORLD: 表示用户所有进程的通信子.
获得通信子进程数量函数
MPI_Comm_size(MPI_COMM_WORLD, &comm_sz);
获得通信子中进程编号
MPI_Comm_rank(MPI_Comm_WORLD, &my_rank);
消息传送接受函数
消息发送函数MPI_Send. 第四个变量表示目的地, 第五个是标签, 用以区分看上去一样的数据, 直接设置为0即可. 第六个参量表示通信子
MPI_send(greeting, strlen(greeting) + 1, MPI_CHAR, 0, 0,
MPI_COMM_WORLD);
消息接受函数MPI_Recv. 第四个变量表示源, 第五个是标签,同理设置为0即可, 第六个参量表示通信子, 第七个参量是表示消息接受状态的结构体指针, 暂时用不到. 同时要注意接收缓冲区长度应该比发送缓冲区长度要大.
MPI_Recv(greeting, n, MPI_CHAR, i, 0,
MPI_COMM_WORLD, &status);
注记
这与lan-foster设计方法四步中的通信过程相吻合.
对于程序输入来说仅有一个主进程可以接受输入, 大部分情况主进程输出.
缺点
这是管理者工人模型, 即动态保证负载平衡的方法. 这使得主进程按顺序接受来自其他进程的数据时, 会导致停等的现象, 造成资源的浪费.
MPI的其他接口
针对第一种方法的缺点, MPI框架的设计者在lan-foster模型的聚集阶段采用了特殊的聚集策略, 将聚集的复杂度降低到了O(logN)级别, 并提供了对应接口MPI_Reduce, 我们将这类涉及通信子中的所有进程的通信函数称为集合通信.
MPI矩阵乘法的并行化实现
一种简单的矩阵乘法实现就是只有一个矩阵分配行, 另外一个矩阵不做处理直接分配各个节点, 另外一种值则是巧妙的将矩阵乘法做后的相加运算分割, 实现了矩阵乘法运算各个节点间互不干扰, 从而开发了矩阵运算的并行性, 这种算法我们称之为cannon算法.
简单实现
这是一个简单的矩阵并行化算法, 思路非常清晰, A矩阵每行分开, B矩阵不分开, 将A矩阵每行分配给各个节点, B矩阵各行各列分配给各个节点. 每个节点分别计