HPC入门教程(OpenPBS )

 

一：HPC简介

集群（Cluster）是一个网络计算和服务的集合体，是一组计算机。集群的各计算机之间通过网络而相互联系、协同工作，为应用和服务提供一套并行资源。集群向用户提供单一系统映像，集群内部结构对用户是透明的。集群一般可分为三类：高性能计算集群（High Performance Computing Cluster）、高可用性集群（High Availability Cluster）和负载均衡集群（Load Balancing Cluster）。HPC集群有着光明的前景，2006年6月TOP500超级计算机排名中，集群系统占了364台。集群可应用于大规模科学与工程计算，如流体力学计算、生物信息学等等。

HPC集群的优势
HPC集群的优势主要体现在高性价比（Performance/Cost Ratio）和良好的可扩展（Scalability）性两个方面：

1高性价比：
传统的并行计算机的价格高得惊人，通常以几百万元、几千万美元计，这样的价格不是一般的研究机构、学校和中小企业能承担得起的。而相同性能的HPC集群的价格则相对便宜很多。如果把更新换代的PC机利用起来构建HPC集群，就可以不花费任何额外投资就可以得到一台高性能的超级计算机。

2良好的可扩展性：
可扩展性是指在确定的应用背景下，计算机系统的性能随处理机的增加而按比例提高的能力。它是评测并行计算机性能的一个重要指标。
传统并行计算机系统的可扩展性瓶颈在于总线和内存的带宽。当处理器增加到一定个数时，对总线和内存的利用就会达到极限，处理器再增加时，系统性能就很难再提高。HPC集群的性能瓶颈主要在于CPU速度，网络带宽和I/O速度。当处理器个数增加时，网络和I/O就会成为性能瓶颈。解决网络瓶颈的办法是增加网络带宽，比如采用高速网卡，还可以用Myrinet网络。在I/O方面，可采用高速存贮设备。解决了网络和I/O瓶颈，集群的性能就会随着处理器个数增加而接近线性提高。
HPC高性能计算服务器集群系统是高性能计算和高可用技术 有机结合的性能强大、高可用的集群系统。在实际应用中，许多科学研究和商业企业的计算问题都可以通过HPC系统来解决。
HPC 可以在下列领域能够帮助开发和研究人员进行建模和模拟，同时，以最快的速度计算出模拟的结果，为下一步开发和最终结构的确定提供及时可靠的依据：天气预报气象 制药企业的药理分析 科研人员的大型科学计算问题 石油勘探中对石油储量的分析 航空航天企业的设计和模拟化工企业中对分子结构的分析计算 制造业中的CAD/CAM系统和模拟试验分析 银行和金融业对经济情况的分析生物/生命科学中生物分子研究和基因工程计算

二：硬件配置

略

三：系统安装

系统使用的是最新的Red Hat出版的as4 up4 64位，会用这个系统最大的原因是因为Red Hat是目前支援的Linux 软件最多的一个，安装它之后，就比较不会欠东欠西的，此外，很多的软件都是以Red Hat做为测试平台，因此我就选择他来做为我的系统平台拉！Linux的安装大家应该都很熟悉了，

所以仅提几个特别需要注意的地方：
1．硬盘分区：
采用系统默认分区
2．系统安装时所选择的套件：
最好完全安装。

四：网络设置

1．设置网络IP 机器名
8台机器分别机器名和IP
服务器主节点：server IP:192.168.1.200
7台节点机分别为：node1…..node7 IP为192.168.1.201…….192.168.1.207
各主机的主机名称修改：/etc/sysconfig/network

五：NFS架设

将服务节点的根目录下建一个/data目录，并将它分享出去。由于我这里预要设定NIS，我的Cluster所有的帐号都在NIS的管制之中，因此，我将server的/home
也要分享出来，并且每部node1节点主机都挂载server的/home才成。

程序设定：

1.务器节点(server)设置：
以root用户登陆并执行操作，启动portmap并且设定开机启动：
[root @server root]#/etc/rc.d/init.d/portmap start
[root @server root]#chkconfig --level 35 portmap on
设定NFS分享出去，根目录下新建一个data，把/data /home并分享出去
[root @server root]#mkdir /data
[root @server root]#vi /etc/exports；查看分享目录
/home 192.168.1.0/24(rw,async,no_root_squash)
/data 192.168.1.0/24(rw,async,no_root_squash)
;把/data和 /home分享出来，并且在192.168.1.0这个网段里并具有root权限
[root @server root]mount –a；生效
[root @server root]exportfs –rv
[root @server root]/etc/rc.d/init.d/nfs start
[root @server root]chkconfig –level 35 nfs on
生效查看分享,并设置自动启动

2.点机node1….node7的设置
[root @server root]#/etc/rc.d/init.d/portmap start [root @server root]# chkconfig --level 35 portmap on
[root @server root]mkdir /data;新建data目录
[root @server root]mount server:/data /data
[root @server root]mount server:/home /home
新建/data目录，并将服务节点分享出来的/data和home分别挂载在本节点的/data 和/home目录下，测试如果成功，将指令写入/etc/fstab当中
[root @server root]vi /etc/fstab
server:/data /data nfs
server:/home /home nfs
在每台节点机上都执行以上操作，以便在每台节点机上启动都能自动mount服务节点资源

六：NIS设置

NIS即网络信息系统。NIS的设定也很简单，不过主要还是要分为NIS服务端和NIS客户端两部分来设定的！请注意，在设定之前，就已经将NFS搞定！这些流程都是有一定程度的相关性的。

1．在主节点服务器(server)上的设定
a)以root用户登陆服务器节点（server）
检查服务器节点是否有安装下列软件
ypserv
ypbind
yp-tools
make
分别用rpm –qa|grep ***查看上面每个软件，少什么包就装什么包
b)编辑/etc/sysconfig/network并加入下列一行：
[root @server root]vi /etc/sysconfig/network
NISDOMAIN=cluster；cluster为NIS服务器名
[root @server root]domainname cluster ；使服务器立该生效
c）编辑/var/yp/Makefile,找到 all:passwd group...这一行，并修改如下：
all:passwd group
d）启动ypserv服务
[root @server root]service ypserv start
e）初始化数据库
[root @server root]/usr/lib/yp/ypinit –m
按[ctrl+d]保存退出。注：若以上配置有问题，会显示出错！如果无错误，再重启ypserv
[root @server root]service ypserv restart
[root @server root]service yppasswdd start
启动密码进程
f)检查进程是否真的运行：
[root @server root]ps auxf|grep yp
[root @server root]tail /var/log/messages

2.在节点机上的设置(node1..node7)
在每个节点上分别以root登陆，并分别在各节点上执行下列操作：

a)检查各个节点是否安装下列包：

portmap
ypbind
yp-tools
authconfig

少什么包就装什么包：
查看服务器主机server是否打开portmap服务：
[root @server root]rpcinfo –p 192.168.1.200

b)在节点机上运行 authconfig工具，配置客户端访问服务器：
[root @server root]authconfig
在出现的图形框内选中＂Use Nis＂打勾，再点“NEXT”，在随后出现的对话框内里Domain:后面输入 cluster 在Server 里输入主服务器（server）的IP地址。192.168.1.200

c)ypbind会自动启动观察/var/log/messages有无报错，

在节点机上运行ypcat passwd看服务器提供了那些用户
[root @server root]ypcat passwd
[root @server root]cd /var/yp
[root @server root]make
更新帐户

d)NIS服务器测试
1试着在服务器上新建帐户test，

看能否用test登陆服务器；再用test看能否登陆各个节点？如果不行！就进到服务器（server）/var/yp目录里，运行make再在各节点上试试看能否登陆各节点？
[root @server root]cd /var/yp
[root @server root]make

2 在节点机上新建帐户test1,看能否在本节点机登陆
注：将试过如果服务器节点没有把/home分享出来的话，各节点能登陆但有问题出现！
还有一个现象就是假如各节点在mount 服务器/home前就新建用户，然后再mount务服器/home 会出现一个现象是，不能用服务器新建用户登陆图形介面。
解决办法是：

[root @server root]umount /home
[root @server root]userdel ***；**代表原来节点建的用户
[root @server root]rm –rf *；删除原来home下的所有文件
[root @server root]mount server:/home /home；重新mount一切都解决