linpack实验：OpenMPI集群搭建与测试

openmpi集群需要一个服务端（主电脑）以及若干个服务端，主电脑连接各个子电脑，发送指令指挥他们进行测试，这就需要两个工具，ssh和nfs

准备条件：

在各个子电脑的用户根目录下创建mpi共享目录

mkdir ~/mpi_share

1. ssh无密码登陆

首先安装ssh：

sudo apt install ssh

ssh身份验证可以通过证书来进行，两个毫无关系的电脑想要连接彼此，需要知道对方的用户名密码或者是拥有对方的证书，而实现无密码登陆对方的电脑的方法就是将自己的证书复制到对方的电脑，操作如下：

首先，在所有电脑中执行如下指令，导出各个电脑的公钥和私钥：

ssh-keygen -t rsa 

在运行过程中，遇到提示直接回车。等运行结束后，进入.ssh目录，你会看到公钥和私钥文件；

$ cd ~/.ssh 
$ ls  
id_rsa   id_rsa.pub  

其中id_rsa就是私钥，id_rsa.pub就是公钥，我们需要把各个电脑上的公钥都集中发送到主电脑上，来制作授权文件（authorized_keys），在子电脑上，使用如下指令将各个子电脑的公钥复制到主电脑：

（为了叙述方便，就拿一主一从来举例，一主多从原理一样）

scp ~/.ssh/id_rsa.pub 主电脑ip:~/.ssh/1.pub

将子电脑的公钥拷贝到主电脑后，在主电脑进行如下处理：

cp ~/.ssh/id_rsa.pub authorized_keys  
cat ~/.ssh/1.pub >> authorized_keys  

在主电脑上制作好的authorized_keys拷贝到子电脑上，在主电脑上执行：

$scp ~/.ssh/authorized_keys 子电脑IP:~/.ssh/

这样在主电脑上执行：

ssh 子电脑IP

就可以直接连接ssh而不需要密码

2. NFS文件共享系统

NFS类似一个网盘，所有子电脑都可以同步主电脑的共享文件夹。

所有电脑使用如下命令安装NFS：

sudo apt install nfs-server

主电脑要进行修改nfs的配置文件

sudo vim /etc/exports

添加如下字段：

共享文件夹的绝对路径 电脑所在子网(rw,sync)

例如，作者的电脑是这么写的：

/home/yhc/mpi_share 192.168.1.0/24(rw,sync)

然后重启NFS服务：

sudo /etc/init.d/nfs-kernel-server restart

这样主电脑的NFS服务端就已经配置完成了

接着只需要在各个子电脑上挂在共享文件夹就行，我们需要把刚刚创建的mpi_share文件夹映射为主电脑的共享文件夹，子电脑上执行：

sudo mount -t nfs 主电脑IP:主电脑共享文件夹目录 本机共享文件夹目录

例如作者是这么写的：

sudo mount -t nfs 192.168.1.2:/home/yhc/mpi_share ~/mpi_share

这样进入子电脑的共享文件夹，就可以看到主电脑共享文件夹的文件，他们实时保持同步

3. 编写hostfile文件

有的人不喜欢去记忆各个电脑的ip地址，所以用主机名来代替，可以更改各电脑的host文件：

sudo vim /etc/hosts

添加一些键值对：

主机1名 主机1的IP
主机2名 主机2的IP
主机3名 主机3的IP

保存即可，这样所有的命令，都可以用主机名去代替IP地址

例如，作者添加了这样几个主机：

node1 192.168.1.2
node2 192.168.1.3
node3 192.168.1.4

然后hostfile文件就可以这么写(slots可以理解为进程数)：

node1 slots=4
node2 slots=4
node3 slots=4

将xlph，HPL.dat以及hostfile文件放到共享文件夹

然后在主电脑的共享文件夹下执行如下命令

mpirun -hostfile hostfile -np 12 ./xlph > info.txt

这样所有主机就都在进行测试，然后结果写到info.txt，

这里np后面的值为hostfile中所有slots的和，只有这样每个子电脑和主电脑才会一起跑测试

如果想观察是不是所有电脑都在跑测试，可以用下面的代码生成可执行文件：

#include "mpi.h"
#include <stdio.h>
#include <math.h>

double f(double);

double f(double a)
{
    return (4.0 / (1.0 + a * a));
}

int main(int argc, char *argv[])
{
    int n, myid, numprocs, i;
    double PI25DT = 3.141592653589793238462643;
    double mypi, pi, h, sum, x;
    double startwtime = 0.0, endwtime;
    int namelen;
    char processor_name[MPI_MAX_PROCESSOR_NAME];

    MPI_Init(&argc, &argv);
    MPI_Comm_size(MPI_COMM_WORLD, &numprocs);
    MPI_Comm_rank(MPI_COMM_WORLD, &myid);
    MPI_Get_processor_name(processor_name, &namelen);

    fprintf(stdout, "Process %d of %d is on %s\n", myid, numprocs, processor_name);
    fflush(stdout);

    n = 1000000000;  /* default # of rectangles */
    if (myid == 0)
        startwtime = MPI_Wtime();

    MPI_Bcast(&n, 1, MPI_INT, 0, MPI_COMM_WORLD);

    h = 1.0 / (double) n;
    sum = 0.0;
    /* A slightly better approach starts from large i and works back */
    for (i = myid + 1; i <= n; i += numprocs) {
        x = h * ((double) i - 0.5);
        sum += f(x);
    }
    mypi = h * sum;

    MPI_Reduce(&mypi, &pi, 1, MPI_DOUBLE, MPI_SUM, 0, MPI_COMM_WORLD);

    if (myid == 0) {
        endwtime = MPI_Wtime();
        printf("pi is approximately %.16f, Error is %.16f\n", pi, fabs(pi - PI25DT));
        printf("wall clock time = %f\n", endwtime - startwtime);
        fflush(stdout);
    }

    MPI_Finalize();
    return 0;
}

用mpicc生成可执行文件cpi：

mpicc cpi.c -o cpi

然后用mpirun执行：

mpirun -hostfile hostfile -np 12 ./cpi > info.txt

然后查看info.txt即可，如果出现报错，提示orde错误，用下面的指令代替：

mpirun的绝对地址 -hostfile hostfile -np 12 ./cpi > info.txt

注意：执行集群环境下执行mpirun极易出现报错，作者整理了几种原因
① 各电脑使用的openmpi版本不一致，很容易出现兼容性问题，使用如下指令查看mpirun版本：

mpirun --version

② 因为各电脑在测试的时候，执行的都是同一个可执行文件，所以要求各电脑的系统架构要一致
③ 各电脑的openmpi安装目录要一样，说实在解决不了报错，请统一卸载以前安装过的openmpi相关软件，并从官网下载源码自己手动编译，大致流程：

cd openmpi-2.1.1
./configure prefix=/usr/local/openmpi
make -j8
sudo make install

然后重新编译HPL（看我以前的教程）