使用xcat部署系统
本文介绍了一种使用Extreme Cloud Administration Toolkit(xCAT)和Tera-scale开源资源和QUEue Manager(TORQUE)开源软件包构建动态配置的高性能计算(HPC)集群系统的解决方案。 xCAT是用于动态配置计算,存储和网络资源的领先解决方案。 TORQUE是一个工作负载和资源管理系统,用于管理批处理作业和计算节点并计划这些作业的执行。
我们构建了一个集群,在该集群中,节点通过xCAT进行了配置,并且批处理作业由TORQUE管理和执行。 在xCAT和TORQUE的基础上,我们构建了一个使群集具有适应性的配置代理,这意味着可以根据作业所需的执行环境动态地配置集群的计算节点。
自适应集群的架构
我们正在构建的动态集群的架构如图1所示,其中xCAT集群由一个管理节点和几个计算节点组成。 计算节点由在管理节点上运行的xCAT服务器提供。 管理节点还运行TORQUE服务器和调度程序守护程序,以及使用xCAT管理计算节点所需的多种服务,包括DNS,DHCP,TFTP和NFS。
计算节点运行TORQUE服务器调度的作业,并且在每个计算节点上运行的TORQUE作业执行守护程序启动。 供应代理检查工作负载和节点配置,并确定需要供应哪些节点以提供作业所需的执行环境。
图1.自适应集群
![该图显示了动态集群的架构](https://i-blog.csdnimg.cn/blog_migrate/3b1e824e79ab7854148953a4b78546e4.png)
对于小型群集,单个管理节点可以提供配置所有计算节点所需的带宽。 对于较大的群集,需要一种分层方法,其中管理节点连接到两个或多个服务节点 ,而计算节点则由服务节点提供。
就本文而言,请考虑一个小型群集,该群集具有一个管理节点xcat1和两个计算节点xcat2和xcat3 ,它们通过以太网交换机xcat-switch连接到xcat1, 如图2所示。 每个使用的服务器都具有双处理器Intel®Xeon®x86_64体系结构,2 GB内存,73 GB磁盘容量以及支持预引导执行环境(PXE)引导的以太网接口。 管理节点运行CentOS版本5.4。
图2.集群组件和网络
![该图显示了集群组件和网络](https://i-blog.csdnimg.cn/blog_migrate/9a9de47ff238ad49cba1900e65324298.png)
使用供应计算节点的无盘方法,由此节点从管理节点启动。 具体来说,使用基于PXE的网络启动。
配置管理节点
在安装xCAT之前,请配置管理节点,以便正确安装xCAT并获取有关群集的正确信息。 本节显示了在安装xCAT之前在管理节点上执行的配置操作。
设置网络和主机定义
管理节点xcat1连接到公用网络192.168.17.0(称为extnet )和群集网络192.168.112.0(称为cluster )。 我们在两个接口上都使用静态IP地址:公共网络接口eth0的IP地址为192.168.17.201; 群集网络接口eth1的IP地址为192.168.112.1。 清单1显示了已配置的网络接口,其中virbr0对于虚拟化很有用,但对于本文中讨论的设置却没有用。
清单1.网络接口
xcat1 # ifconfig -a | egrep -A1 '^[a-z]' | grep -v "\--"
eth0 Link encap:Ethernet HWaddr 00:11:43:DF:0E:A8
inet addr:192.168.17.201 Bcast:192.168.17.255 Mask:255.255.255.0
eth1 Link encap:Ethernet HWaddr 00:11:43:DF:0E:A9
inet addr:192.168.112.1 Bcast:192.168.112.255 Mask:255.255.255.0
lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
sit0 Link encap:IPv6-in-IPv4
NOARP MTU:1480 Metric:1
virbr0 Link encap:Ethernet HWaddr 00:00:00:00:00:00
inet addr:192.168.122.1 Bcast:192.168.122.255 Mask:255.255.255.0
清单2中显示了定义主机名的文件/ etc / sysconfig / network和定义本地主机查找表的文件/ etc / hosts,其中计算节点的智能平台管理接口(IPMI)分别是xcat2和xcat3。 xCAT使用IPMI重新启动并引导计算节点。 使用hostname
命令检查本地主机的简称和全名,如清单所示。
清单2.主机定义
xcat1 # more /etc/sysconfig/network
NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME=xcat1
xcat1 # more /etc/hosts
127.0.0.1 localhost.localdomain localhost
::1 localhost6.localdomain6 localhost6
192.168.17.201 xcat1.extnet
192.168.17.202 xcat1i.extnet
192.168.112.1 xcat1.cluster xcat1
192.168.112.100 xcat-switch
192.168.112.102 xcat2
192.168.112.103 xcat3
192.168.112.202 xcat2i
192.168.112.203 xcat3i
xcat1 # hostname -s
xcat1
xcat1 # hostname -f
xcat1.cluster
设置DNS
清单3中所示的解析程序配置文件/etc/resolv.conf将管理节点192.168.112.1(xcat1)定义为主服务器,将外部服务器定义为辅助服务器。 (我们在“ 配置DNS和DHCP ”部分中使用xCAT设置了名称服务器192.168.112.1。)CentOS V5.4上的命名服务的默认设置是使用bind-chroot
。 因为xCAT希望命名服务不使用chroot
,所以请删除软件包bind-chroot
,如清单所示。
清单3. DNS设置
xcat1 # more /etc/resolv.conf
search cluster extnet
nameserver 192.168.112.1
nameserver 130.236.101.9
xcat1 # rpm -q bind-chroot
bind-chroot-9.3.6-4.P1.el5_4.2
xcat1 # rpm -e bind-chroot
安装下载的工具
解压缩下载的ZIP文件并运行install.sh脚本以安装本文其余部分中提到的程序。
其他设定
应该禁用增强安全性的Linux®(SELinux)功能。 另外,如果安装了tftp-server软件包,则将其删除,因为xCAT需要atftp软件包,该软件包与tftp-server冲突。 要运行TORQUE作业,请创建一个常规用户,然后NFS导出该用户的主目录。 清单4显示了如何执行这些动作。
清单4.其他设置
xcat1 # rpm -q tftp-server
tftp-server-0.49-2.el5.centos
xcat1 # rpm -e tftp-server
xcat1 # grep SELINUX= /etc/sysconfig/selinux | grep -v ^#
SELINUX=disabled
xcat1 # useradd -m -s /bin/bash -d /hom