MPICH2 Linux集群搭建

OS: CentOS 6.7

MPI:Mpich2-1.4.1

http://www.mcs.anl.gov/research/projects/mpich2/downloads/tarballs/1.4.1p1/mpich2-1.4.1p1.tar.gz

 

安装过程：

1.     事先安装GCC :

a)     CentOS: sudo yum install gcc-c++

b)     Ubuntu: sudo apt-get install g++

2.     设置ssh无密码登录:

a)      在每个节点上执行ssh-keygen -t rsa命令，在~/.ssh下生成秘钥id_sa和id_rsa.pub

b)      将每个节点上的id_rsa.pub文件追加到某一节点，假设131节点的~/.ssh/authorized_keys末尾，在这里假设那个节点的用户为hadoop

cat ~/.ssh/id_rsa.pub | ssh hadoop@192.168.253.131 "cat - >>~/.ssh/authorized_keys"

c)      在非192.168.253.131节点，将131上的authorized_keys文件复制到所有节点的 ~/.ssh目录下

scp hadoop@192.168.253.131:~/.ssh/authorized_keys~/.ssh/

d)      将authorized_keys的权限改为644

chmod 644 ~/.ssh/authorized_keys

e)      可以尝试集群之间相互ssh登陆

3.     编译mpich2

tar zxvf mpich2-1.4.1p1.tar.gz

cd mpich2-1.4.1p1

./configure--prefix=/opt/mpich2-1.4.1p1 --with-pm=hydra:mpd --with-mpe

make

sudo make install

4.     对MPICH2进行配置。在每个节点上都必须配置。

a)      配置环境变量（~/.bashrc）

sudo gedit ~/.bashrc

b)      在 ~/.bashrc的底部添加下面几行:

如果安装路径修改此处也需要相应修改

export MPI_ROOT=/opt/mpich2-1.4.1p1

export PATH=$MPI_ROOT/bin:$PATH

export MANPATH=$MPI_ROOT/bin:$MANPATH

c)      执行下面命令使~/.bashrc生效:

source ~/.bashrc

d)      测试环境变量:

which mpd

which mpicc

which mpiexec

which mpirun

e)      创建配置文件.mpd.conf

root用户和普通用户的mpd.conf存储位置是不同的。

root用户在/etc路径下，创建文件名为"mpd.conf"文件。

普通用户在~/路径下，创建文件名为".mpd.conf "。

注意，文件名多了一个点。

mpd.conf或.mpd.conf的内容为secretword=myword

注意：各个节点上的mpd.conf文件必须相同

最后需要赋予相应权限

chmod 600 .mpd.conf

5.     创建配置文件mpd.hosts

路径：~/mpd.hosts

内容：mpd.hosts记录MPICH2集群上节点的机器名或IP地址

注意：如果是主机名需要先进行映射操作

在 Ubuntu/CentOS 7 中，我们在 Master 节点上执行如下命令修改主机名（即改为 Node1，注意是区分大小写的）：

sudo vim /etc/hostname

如果是用 CentOS 6.x 系统，则是修改 /etc/sysconfig/network 文件，改为 HOSTNAME=Node1

然后执行如下命令修改自己所用节点的IP映射：

sudo vim /etc/hosts

192.168.1.121   Node1

192.168.1.122   Node2

我们在 /etc/hosts 中将该映射关系填写上去即可（一般该文件中只有一个 127.0.0.1，其对应名为 localhost，如果有多余的应删除，特别是不能有 “127.0.0.1 Node1” 这样的记录），CentOS 中的 /etc/hosts 配置则如下图所示：

修改完成后需要重启一下，重启后在终端中才会看到机器名的变化。

需要在所有节点上完成网络配置。

如上面讲的是 Node1节点的配置，而在其他的Node节点上,

也要对 /etc/hostname（修改为Node2、Node3等） 和 /etc/hosts（跟Node1的配置一样）这两个文件进行修改。

配置好后需要在各个节点上执行如下命令，测试是否相互 ping 得通，如果 ping 不通，后面就无法顺利配置成功：

ping Node2 –c 3

6.     启动单点mpi

mpd &

7.     执行mpdtrace

mpdtrace -l

8.     启动mpi集群准备

a)      首先需要关闭防火墙，CentOS 6.x 中，可以通过如下命令关闭防火墙：

sudo service iptables stop   # 关闭防火墙服务

sudo chkconfig iptables off  # 禁止防火墙开机自启

若用是 CentOS 7，需通过如下命令关闭（防火墙服务改成了 firewall）：

systemctl stop firewalld.service    # 关闭firewall

systemctl disable firewalld.service #禁止firewall开机启动

9.     启动集群：

MPI的多机并行是用mpdboot来管理启动的，是由参与计算的其中一台机器通过mpdboot同时启动其他机器上的mpd管理器并运行相应MPI程序。

# mpdboot –n process-num –f  mpd.hosts

mpdboot -n 4 -f mpd.hosts –v

MPICH2采用mpd服务来对进程进行管理，使用mpiexec运行mpi程序。

10. 查看集群主机名和端口号：

mpdtrace –l

关闭mpd服务：

Mpdallexit

查看主机名：

mpdtrace