并行计算（一）——初步认识

并行计算模型

• 本定命名空间和私有的内存空间，主要采用 C/C++/Fortran 和 MPI 。
• 全局命名空间和共享的内存空间，主要采用 C/C++/Fortran 和 OpenMP 。

Flynn 分类法

这个方法主要是根据并行计算机的模式进行分类的，包括：

• SISD (Single Instruction Single Data): 单一指令，单一数据；
• SIMD (Single Instruction Multiple Data): 单一指令，复合数据；
• MIMD (Multiple Instruction Multiple Data): 复合指令，复合数据；
• MISD （Multiple Instruction Single Data）: 复合指令，单一数据（目前这种模式不存在实际的应用

---

MPI模型

MPI——Message Passing Interface, 是用于并行计算的一个标准化信息传递系统，最早诞生与1994年。 这里是MPI的文档，里面规定了函数和接口的格式，可以在多种操作系统下使用。常见的MPI包括 MPICH 和 Open MPI 等。

基础函数：初始化

int MPI_Init(int *argc, char ***argv)  初始化启动MPI，它的传入参数通常为main函数的两个参数；

int MPI_Comm_Size(MPI_Comm comm, int *size) 取得comm通讯组中处理器的数量，放入变量size。

int MPI_Comm_Rank(MPI_Comm comm, int *rank) 取得当前处理器在comm通讯组中的编号，放入变量rank。

有了以上的三个函数，我们就可以创建mpi的第一个程序了，当然是Hello world了

[cpp]  view plain copy

1. #include <mpi.h>  
2. #include <stdio.h>  
3.   
4. int main(int argc, char *argv[]) {  
5.         int rank,size;  
6.   
7.         MPI_Init(&argc, &argv);               /* Initialize MPI               */  
8.         MPI_Comm_size(MPI_COMM_WORLD, &size);  
9.         MPI_Comm_rank(MPI_COMM_WORLD, &rank);  
10.   
11.         printf("Hello World from processor %d in %d!\n",rank,size);  
12.         MPI_Finalize();                       /* Shut down and clean up MPI   */  
13.   
14.   return 0;  
15. }  

编译程序的命令为：

mpicc -o3 -o hello hello.c -lmpi

其中-o3是一个常用的优化参数。 其余参数与gcc基本一致，最后的参数表明程序链接mpi的库，运行生成的目标文件hello，需要如下的命令

mpirun -np 10 hello

这里的参数-np 10 就是表明同时在10个处理器上运行。输出的结果为：

Hello World from processor 0 in 10!
Hello World from processor 1 in 10!
Hello World from processor 3 in 10!
Hello World from processor 4 in 10!
Hello World from processor 5 in 10!
Hello World from processor 7 in 10!
Hello World from processor 8 in 10!
Hello World from processor 9 in 10!
Hello World from processor 6 in 10!
Hello World from processor 2 in 10!

基础函数：退出

当MPI程序结束后需要显式的告诉处理器退出程序，使用的是int MPI_Finalize(void)函数，这个函数会清除所有的MPI状态。