MPICH 完整配置存档

MPICH  完整配置存档

提问：chkconfig time on

     /etc/sysconfig/network-scripts

       netconfig -d eth0 --ip=192.168.1.33 --netmask=255.255.255.0 --gateway=192.168.1.253

     网关是DHCP代理服务器的IP

     网关设置为…….253  #关联到 arp – a| awk

     不能与网段相同

后面可能 要涉及 ,rlogin,telnet,rsh,time等服务 ntsysv

自动配置脚本:

先配ssh,再nfs,再nis

/etc 包含大多数系统配置文件和初始化脚本

默认mpich2安装位置: /home/cluster/mpich2

 

参考:redhat enterprise linux 服务器配置与应用 实战指南

北京:人民邮电出版社 :2007.10

 

 

环境：

注：心跳线，即为内网

主机0：  外部联网：10.10.10.2,192.168.1.1（心跳线） node1-9

客户端1：外部联网：10.10.10.3,192.168.1.10（心跳线） node10

客户端2：外部联网：10.10.10.4,192.168.1.11（心跳线） node11

NFS:  共享目录 /home/cluster

NIS域名： cluster

无主机域名：

NIS安装：默认

NFS安装:默认

MPICH: /home/cluster/mpich2

log:make.log

运行程序: /home/cluster/code

 

Vmware可选改变配置：

1:

HKEY_LOCAL_MACHINE/SYSTEM/CurrentControlSet/Services/VMnetDHCP/Parameters/VirtualEthernetSegments/1

192.168.0.16

2:

vmnetdhcp.conf    改网段与ip

3:

宿主机服务 vmware dhcp service 重启

网卡也重启

4,配置双网卡：

 

主从服务器时的配置：

1，创建共享磁盘：

   *一块已有的系统盘；

   一块仲裁盘：分两个相同的分区，做成裸设备--存放群集信息；取名为： arbitrate.vmdk

   一块数据盘：用于存放apache群集数据；取名为： share.vmdk

  

   添加新磁盘时，必须更改磁盘总线接口为SCSI2:0和SCSI2:1总线(可自定义），但必须与系统盘总线不在同一条线上；

   虚拟机配置文件的修改，禁用磁盘锁定功能；
   在各个虚拟机配置文件名是：Red Hat Linux.vmx
   是一个configuration配置文件（看文件类型），用记事本打开在其中最后加入：
   disk.locking="false"

2,在主结点配置共享磁盘：

　1,Fdisk –l 查看

  2, raw 设备

在两台服务器上分别编辑/etc/sysconfig/rawdevices文件，将分区绑定到裸设备。
#vi /etc/sysconfig/rawdevices
加入
/dev/raw/raw1 /dev/sdb1
/dev/raw/raw2 /dev/sdb2
重启服务
#service rawdevices restart
启动完成后执行
＃raw –qa

3,<4.4>格式化数据分区：
      #mkfs.ext3  /dev/sdc1

 

 

主结点配置：

一,准备：

提示：　可以使用命令 ntsysv　一次设置好相应项目的开机启动,与chkconfig on  原理相同

 

1,查看防火墙状态：service iptables status

关闭防火墙： service iptables stop

设置开机不启动防火墙: chkconfig iptables off

2,hostname node1

3,/etc/hosts文件：至少需要有个 NIS 服务器的 IP 与主机名对应

　　　192.168.1.1  node1

192.168.1.10  node10

192.168.1.11  node11

#192.168.1.12  node12

127.0.0.1   localhost.localdomain localhost

4,network文件

修改主机名：
   #vi  /etc/sysconfig/network

   HOSTNAME=hostname

 

5,创建/etc/hosts.equiv

     以上这步放在 配置mpich2处

node1  #给自己放权，这样在只有一台机器时也可以模拟并行计算环境

node10

node11

 

6,挂载文件系统

 

二，配置NFS

1,安装nfs软件包：

Nfs-utils   光盘2

Portmap  光盘2

rpm –qa |grep nfs

rpa –qa |grep portmap

rpm  –ivh  nfs-utils

2, Showmount   -e  127.0.0.1  查看当前目录下发布多少共享目录
Showmount   -e  192.168.1.10  查看当前目录下共享了服务的目录

2.5  chmod 755 /home

     chmod  777 /home/cluster

说明：必须注意home/目录的访问权限，必须设置成777权限；父目录/home权限无要求，普通的755即可；

3,  /etc/exports 文件

加入：　如：共享目录 [客户端1 参数] [客户端2 参数]

例1: /home/cluster  192.168.1.0/24(rw,sync)   sync 表示同步  rwx

/temp  192.168.1.0/24(ro)    允许这个网段，只读

或如 :/temp   *(ro)   192.168.1.78(rw)

例２：exportfs –a  查看所有

 

4,启动服务进程

chkconfig nfs on
      chkconfig portmap on
      #chkconfig nfslock on
      service portmap start
      #service nfslock start   
      service nfs start

 

三，配置NIS

0,主要流程:

(1)  设置　nis 域名

(2)   主配置文件

(3)  　创建nis 数据库

(4)   建立信任群

(5)   更新加载配置文件或重新启动nfs服务，使配置生效

1,安装

ypserv  光盘3
-    ypbind  1
-    portmap 2
-    yp-tools  1

Rpm –qa |grep yp  查询

Rpm  –ivh  ypserv 安装

df

mount  /dev/cdrom/media/

cd /media/Server/

ls |grep ypserv

rpm –ivh ypserv-2.19-3.1386.rpm

2, nisdomainname “domain-name”  #即时生效

3,   /etc/sysconfig/network   加入:

NISDOMAIN=”DOMAIN-NAME”         #等号两边不能有空格  这里为cluster

HOSTNAME=” HOSTNAME”                       node0 -9

4,   Vi /etc/rc.d/rc.local   #加入命令语句:

/bin/nisdomainname “域名“            #cluster              

5, vi /etc/ypserv.conf

dns:no, #使用DNS服务要相应有设置 /etc/hosts文件，让客户端找nis服务器

files:30 #读入cache的账号数, 预设会有30个数据库被读入, 如果集群规模比较大的话就必须设大一点了, 还有一台机可能不止一个账户，而且通常都不止

slp:   no  #使用 spf则yes ,SPF: Shortest Path First,最短路径优先还是

#Servie Port Function，业务端口功能。是接入网功能之一。

slp_timeout: 3600 #设置相关spf的

#xfr requests are only allowed from ports < 1024 

 xfr_check_port:yes   #主nis与从nis服务同步时采用1024以下端口

#Host : Domain : Map : Security

Map:#可以查询的数据库名称,*代表所有都可

#Security:   none 任意，port >1024端口的都不行，deny完全拒绝

127.0.0.1/255.0.0.0：*：*：none   允许来自本机的                

192.168.1.0/255.255.255.0:*:*:none 来自内网段的

# * : * : * :deny

6, vi /etc/passwd

#add:   密码为空

7,vi /etc/yp.conf

add: domain “nis域名” server   “master hostname”

     ypserver “master hostname”

例:

     domain cluster server node0

     ypserver node0

8, touch /etc/netgroup　　　#组允许

空表示：信任所有客户端

添加只信任的客户端：

Host:user:zdomain

9，注:在服务器端，端口111需要打开. 可以在我们的知识库中得到更到的信息关于NIS服务器的安全。

关闭防火墙或添加规则

iptables -A INPUT -p tcp --dport 111 -d xxx.xxx.xxx.xxx -j ACCEPT

iptables -A INPUT -p udp -m udp --dport 111 -j ACCEPT

iptables -A OUTPUT -p tcp -  m tcp --dport 111 -j ACCEPT

iptables -A OUTPUT -p udp -m udp --dport 111 -j ACCEPT

１0,vi /var/yp/Makefile               #主从同步

change: NOPUSH=true to  NOPUSH=false

１1,/usr/lib/yp/ypinit –m     #建立数据库

     ctrl + d  y         ?

１2,启动服务

     service  portmap  restart

service  yppasswdd  restart

service  ypserv  restart

chkconfig portmap   on

chkconfig yppasswdd  on

chkconfig ypserv  on

１3,　测试：

ypwhich

四，配置SSH

1, 安装Openssh软件包

Rpm  -qa  |grep  openssh

Rpm  -ivh  /media/cdrom./RedHat/RPMS/openssh-server-3.9.rpm

Rpm  -ivh  /media/cdrom./RedHat/RPMS/openssh……rpm

Rpm  -ivh  /media/cdrom./RedHat/RPMS/openssh……rpm

…..     共５个

 

2, /etc/ssh/ssh_config

设置ssh端口

Port 22

设置ssh协议顺序

Protocol 2,1    表示先用ssh2协议

设置ssh绑定ip

ListenAddress 0.0.0.0. 默认绑定所有

是否允许root用户登录

PermitRootLogin yes

是否允许空密码用户登录

PermitEmptyPasswords  yes             #涉及mpd.conf

是否使用公钥认证

PasswordAuthentication no   yes表示不使用，而是用密码验证

3,　关闭防火墙或让防火墙通过，添加规则：/etc/sysconfig/iptables

iptables  -I  INPUT  -p  tcp  --dport  22  -j  ACCEPT

注：　netstat –apn 可查看端口号

4,ssh-keygen –t rsa

5,cp  ~/.ssh/id_rsa.pub   ~/.ssh/authorized_keys2              # ~表示home目录

chmod  go-rwx  ~/.ssh/authorized_keys2

7,ssh-agent  $SHELL

附注:

     #ssh-agent 的输出是一系列 bash 命令；如果这些命令被执行，则将设置两个环境变量：SSH_AUTH_SOCK 和 SSH_AGENT_PID。内含的 export 命令使这些环境变量对之后运行的任何附加命令都可用。

     #启动 ssh-agent 的最佳方式就是把上面这行添加到您的 ~/.bash_profile 中

#SSH_AUTH_SOCK 包含有 ssh 和 scp 可以用来同 ssh-agent 建立对话的 UNIX 域套接字的路径。

8,ssh-add

 

9, 启动ssh服务

 /etc/init.d/sshd start  或用 service sshd start   或在“服务配置” 启动ssh

自动启动:  ntsysv   chkconfig sshd on

 

从结点配置：node1

一， 准备

与主结点相同,hostname 不同而已

二， 配置NFS

1,Showmount   -e  127.0.0.1  查看当前目录下发布多少共享目录
Showmount   -e  192.168.1.11  查看当前目录下共享了服务的目录

 

2, 创建目录 mkdir  -p  /home/cluster

3,mount  -t  nfs  192.168.1.1:/home/cluster  /home/cluster

4, df  -lh    #查看挂载了没有

5,要卸载可用　　umount /home

6,要永久生效：

在文件/etc/fstab 中加入下面一行:#这里/home 是共享目录
<node0>:/home/cluster  /home/cluster  nfs  defaults  0  0

     7,重启服务:

 chkconfig nfs on
#chkconfig nfslock on
chkconfig portmap on
 service nfs restart
 service portmap  restart
 #service nfslock  restart

三， 配置NIS

1,安装：

   ypbind

   yp-tools

1,执行命令：

authconfig

这个命令来指定NIS域和NIS服务器

或

 vi /etc/sysconfig/authconfig

change:

USENIS=yes

USEMD5=yes

USESHADOW=yes

2, vi /etc/passwd

#add:   密码为空

3,vi /etc/yp.conf

add: domain “nis域名” server   “master hostname”

例:

     domain cluster server node0

     ypserver node0

4,vi /etc/nsswitch.conf

change:  passwd: files nis

shadow: files nis

group: files nis

hosts: files nis dns

# vi /etc/pam.d/system-auth   change : password sufficient …… shadow 后加入　nis

# 上面这步等同于  vi /etc/sysconfig/authconfig 所以不用做

5,通过下面的命令启动ypbind 和 ypxfrd

service <service- name> start

chkconfig  <service- name> on

6 同时修改运行级别

rpcinfo -p localhost  查看

7,测试

   ypwhich

yptest  2>&1 | tee file.log   #结果到file文件里

 

四， 配置SSH

 

3,ssh-keygen –t rsa

4,scp node1:~/.ssh/*   ~/.ssh

5,ssh-agent $SHELL               干吗的?

6,ssh-add

7, service sshd restart

  chkconfig sshd on

 

五,MPICH2 安装配置：只在主服务器上装，从服务器不用 ,但要在客户端设置

1, 解压安装文件到 /tmp下

２,configure the install distributes

  # cd /tmp/mpich2-1.0.6pl

#./configure  --prefix=/home/cluster/mpich2  2>&1 | tee configure .log

3,make 2>&1 | tee make.log

4,test the program    #可选

 cd  tmp/mpich2-1.0.6/examples

 make cpi

/tmp/mpich2-1.0.6/bin/mpirun –np 4 ./cpi

5,install

make install 2>&1 | tee makeinstall.log

将被装到共享目录下

10,vi ~/.bash_profile          也可修改 /etc/bashrc  它是 ~/.bash_profile的子程序

格式如下()：
　　 # 软件名-版本号
　　 PATH=$PATH:路径1:路径2:...:路径n
     OTHERPATH=$OTHERPATH:……

 

add:     export PATH=$PATH:/home/cluster/mpich2/bin

export MANPATH=$MANPATH:/home/cluster/mpich2/man

         export MPI_USEP4SSPORT=yes

         export MPI_P4SSPORT=22

         export P4_RSHCOMMAND=ssh

执行 source ~/.bash_profile

要对所有用户有效则修改:/etc/profile

参见: http://lemeen.blog.163.com/blog/static/14262342006619325320/

7,CHECK THE PATHS

which mpd

which mpicc

which mpiexec

which mpirun

8, new mpd.conf      #在SSH时 改过   

#非root 用户可以建 在自己的主目录下 但要加 . 隐藏确保安全 ,即 ~/.mpd.conf

touch /etc/mpd.conf

vi /etc/mpd.conf

add:

MPD_USE_ROOT_MPD=yes

 MPD_SECRETWORD=123456

chmod 600 /etc/.mpd.conf

# MPD_USE_ROOT_MPD=yes

MPD_SECRET_WORD can be unique to each user, but doesn't have to be

MPD_USE_ROOT_MPD specifies that users will not start up their own mpd daemons, but will rely upon attaching to one already running under the root account

 

9 vi /etc/hosts.equiv

 add: node0

         node1

         node2

12,vi ~/.mpd.hosts

         add: node0

node1

 node2

13, test

 mpd &

mpdtrace

mpdallexit

mpd &

mpiexec –n 1 /bin/hostname

mpiexec –n 2  某个程序

mpdboot –n 3  -f mpd.hosts

 

****客户端和从服务器: ****

8, new .mpd.conf      #在SSH处改过

touch /etc/.mpd.conf

vi /etc/.mpd.conf

add:          MPD_USE_ROOT_MPD=1

MPD_SELRETWORD=123456

chmod 600 /etc/.mpd.conf

9 vi /etc/hosts.equiv

#填node0是给自己放权，这样在只有一台机器时也可以模拟并行计算环境

 add:    node0

         node1

         node2

10,vi ~/.bash_profile                #这步客户端应该不用吧

add:     export PATH=$PATH:/home/cluster/mpich2/bin:$PATH   ?

         export MANPATH=$MANPATH:/home/cluster/mpich2/man:$MANPATH        ?

         export MPI_USEP4SSPORT=yes

         export MPI_P4SSPORT=22

         export P4_RSHCOMMAND=ssh

执行 source ~/.bash_profile

要对所有用户有效则修改:/etc/profile

12,vi ~/.mpd.hosts

         add: node0

node1

 node2