并行程序设计之MPI

下载安装MPI

操作系统: ubuntu16.04
处理器: Intel Core I3
命令: sudo apt-get install mpich

第一个MPI程序

Hello World

#include <stdio.h>
#include <string.h>
#include <stdlib.h>

#include "mpi.h"

const int MAXN = 1e2;

int main() {
	int n = MAXN;
	char greeting[MAXN];
	int my_rank, comm_sz;
	MPI_Status status;

	MPI_Init(NULL, NULL);
	MPI_Comm_rank(MPI_COMM_WORLD, &my_rank);
	MPI_Comm_size(MPI_COMM_WORLD, &comm_sz);

	if (my_rank == 0) {
		printf("Greetings from process %d of %d!\n", 
			my_rank, comm_sz);
		for (int i = 1; i < comm_sz; i++) {
			MPI_Recv(greeting, n, MPI_CHAR, i, 0,
				MPI_COMM_WORLD, &status);
			printf("%s\n", greeting);
		}
	} else {
		sprintf(greeting, "Greetings from process %d of %d!",
			my_rank, comm_sz);
		MPI_Send(greeting, strlen(greeting) + 1, MPI_CHAR, 0, 0,
			MPI_COMM_WORLD);
	}

	MPI_Finalize();
	return 0;
}

编译方法

mpi框架在gcc的基础上使用脚本进行编译, 所以第一个名字要换为mpicc, 其余编译格式与gcc相同.

mpicc demoMpi.c -o demoMpi

同理, mpi框架的运行方式也是使用脚本开始运行, 所以不能直接输入可执行程序名运行, 同时argc和argv值的可以为0, 直接在脚本中传入参数.

mpirun -n <processer number> ./demoMpi

MPI的接口设计

命名方式

常量全部大写, 单词间用下划线分割. 第一个词必定是MPI
函数MPI和第一个单词首字母大写, 单词间用下划线分割, 第一个词必定是MPI

并行部分

MPI_Init和MPI_Finalize()之间的部分.
Init传入参数直接设置为NULL即可, 因为脚本传入参数.

MPI_Init(NULL, NULL);
...
MPI_Finalize();

MPI通信子

一组可以互发消息的进程集合.
缺省通信子MPI_COMM_WORLD: 表示用户所有进程的通信子.

获得通信子进程数量函数

MPI_Comm_size(MPI_COMM_WORLD, &comm_sz);

获得通信子中进程编号

MPI_Comm_rank(MPI_Comm_WORLD, &my_rank);

消息传送接受函数

消息发送函数MPI_Send. 第四个变量表示目的地, 第五个是标签, 用以区分看上去一样的数据, 直接设置为0即可. 第六个参量表示通信子

MPI_send(greeting, strlen(greeting) + 1, MPI_CHAR, 0, 0, 
			MPI_COMM_WORLD);

消息接受函数MPI_Recv. 第四个变量表示源, 第五个是标签,同理设置为0即可, 第六个参量表示通信子, 第七个参量是表示消息接受状态的结构体指针, 暂时用不到. 同时要注意接收缓冲区长度应该比发送缓冲区长度要大.

MPI_Recv(greeting, n, MPI_CHAR, i, 0, 
			MPI_COMM_WORLD, &status);

注记

这与lan-foster设计方法四步中的通信过程相吻合.

对于程序输入来说仅有一个主进程可以接受输入, 大部分情况主进程输出.

缺点

这是管理者工人模型, 即动态保证负载平衡的方法. 这使得主进程按顺序接受来自其他进程的数据时, 会导致停等的现象, 造成资源的浪费.

MPI的其他接口

针对第一种方法的缺点, MPI框架的设计者在lan-foster模型的聚集阶段采用了特殊的聚集策略, 将聚集的复杂度降低到了O(logN)级别, 并提供了对应接口MPI_Reduce, 我们将这类涉及通信子中的所有进程的通信函数称为集合通信.

MPI矩阵乘法的并行化实现

一种简单的矩阵乘法实现就是只有一个矩阵分配行, 另外一个矩阵不做处理直接分配各个节点, 另外一种值则是巧妙的将矩阵乘法做后的相加运算分割, 实现了矩阵乘法运算各个节点间互不干扰, 从而开发了矩阵运算的并行性, 这种算法我们称之为cannon算法.

简单实现

这是一个简单的矩阵并行化算法, 思路非常清晰, A矩阵每行分开, B矩阵不分开, 将A矩阵每行分配给各个节点, B矩阵各行各列分配给各个节点. 每个节点分别计