使用xcat部署系统_使用xCAT和TORQUE进行动态服务器配置

使用xcat部署系统

本文介绍了一种使用Extreme Cloud Administration Toolkit（xCAT）和Tera-scale开源资源和QUEue Manager（TORQUE）开源软件包构建动态配置的高性能计算（HPC）集群系统的解决方案。 xCAT是用于动态配置计算，存储和网络资源的领先解决方案。 TORQUE是一个工作负载和资源管理系统，用于管理批处理作业和计算节点并计划这些作业的执行。

常用缩略语

• DHCP：动态主机配置协议
• DNS：域名系统
• IP：网际网路通讯协定
• ISO：国际标准化组织
• MAC：媒体访问控制
• NFS：网络文件系统
• RPM： RPM软件包管理器（以前是Red Hat软件包管理器）
• TFTP：普通文件传输协议
• 百胜：黄狗更新程序已修改

我们构建了一个集群，在该集群中，节点通过xCAT进行了配置，并且批处理作业由TORQUE管理和执行。 在xCAT和TORQUE的基础上，我们构建了一个使群集具有适应性的配置代理，这意味着可以根据作业所需的执行环境动态地配置集群的计算节点。

自适应集群的架构

我们正在构建的动态集群的架构如图1所示，其中xCAT集群由一个管理节点和几个计算节点组成。 计算节点由在管理节点上运行的xCAT服务器提供。 管理节点还运行TORQUE服务器和调度程序守护程序，以及使用xCAT管理计算节点所需的多种服务，包括DNS，DHCP，TFTP和NFS。

计算节点运行TORQUE服务器调度的作业，并且在每个计算节点上运行的TORQUE作业执行守护程序启动。 供应代理检查工作负载和节点配置，并确定需要供应哪些节点以提供作业所需的执行环境。

图1.自适应集群

对于小型群集，单个管理节点可以提供配置所有计算节点所需的带宽。 对于较大的群集，需要一种分层方法，其中管理节点连接到两个或多个服务节点 ，而计算节点则由服务节点提供。

本文中的xCAT和TORQUE版本

尽管有时xCAT有时被称为xCAT V2，以将其与xCAT V1区别开来，但xCAT V1却有很大不同，在本文中，xCAT表示xCAT V2。 同样，本文使用TORQUE V2.3.10。

就本文而言，请考虑一个小型群集，该群集具有一个管理节点xcat1和两个计算节点xcat2和xcat3 ，它们通过以太网交换机xcat-switch连接到xcat1， 如图2所示。 每个使用的服务器都具有双处理器Intel®Xeon®x86_64体系结构，2 GB内存，73 GB磁盘容量以及支持预引导执行环境（PXE）引导的以太网接口。 管理节点运行CentOS版本5.4。

图2.集群组件和网络

使用供应计算节点的无盘方法，由此节点从管理节点启动。 具体来说，使用基于PXE的网络启动。

配置管理节点

在安装xCAT之前，请配置管理节点，以便正确安装xCAT并获取有关群集的正确信息。 本节显示了在安装xCAT之前在管理节点上执行的配置操作。

编码约定

在本文中，清单中的数字符号（ # ）表示以root身份运行的命令。 美元符号（ $ ）表示命令以非特权用户身份运行。

设置网络和主机定义

管理节点xcat1连接到公用网络192.168.17.0（称为extnet ）和群集网络192.168.112.0（称为cluster ）。 我们在两个接口上都使用静态IP地址：公共网络接口eth0的IP地址为192.168.17.201； 群集网络接口eth1的IP地址为192.168.112.1。 清单1显示了已配置的网络接口，其中virbr0对于虚拟化很有用，但对于本文中讨论的设置却没有用。

清单1.网络接口

xcat1 # ifconfig -a | egrep -A1 '^[a-z]' | grep -v "\--"
eth0      Link encap:Ethernet  HWaddr 00:11:43:DF:0E:A8
          inet addr:192.168.17.201  Bcast:192.168.17.255  Mask:255.255.255.0
eth1      Link encap:Ethernet  HWaddr 00:11:43:DF:0E:A9
          inet addr:192.168.112.1  Bcast:192.168.112.255  Mask:255.255.255.0
lo        Link encap:Local Loopback
          inet addr:127.0.0.1  Mask:255.0.0.0
sit0      Link encap:IPv6-in-IPv4
          NOARP  MTU:1480  Metric:1
virbr0    Link encap:Ethernet  HWaddr 00:00:00:00:00:00
          inet addr:192.168.122.1  Bcast:192.168.122.255  Mask:255.255.255.0

清单2中显示了定义主机名的文件/ etc / sysconfig / network和定义本地主机查找表的文件/ etc / hosts，其中计算节点的智能平台管理接口（IPMI）分别是xcat2和xcat3。 xCAT使用IPMI重新启动并引导计算节点。 使用hostname命令检查本地主机的简称和全名，如清单所示。

清单2.主机定义

xcat1 # more /etc/sysconfig/network
NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME=xcat1

xcat1 # more /etc/hosts
127.0.0.1      localhost.localdomain localhost
::1            localhost6.localdomain6 localhost6
192.168.17.201 xcat1.extnet
192.168.17.202 xcat1i.extnet
192.168.112.1  xcat1.cluster xcat1
192.168.112.100 xcat-switch
192.168.112.102 xcat2
192.168.112.103 xcat3
192.168.112.202 xcat2i
192.168.112.203 xcat3i

xcat1 # hostname -s
xcat1

xcat1 # hostname -f
xcat1.cluster

设置DNS

清单3中所示的解析程序配置文件/etc/resolv.conf将管理节点192.168.112.1（xcat1）定义为主服务器，将外部服务器定义为辅助服务器。 （我们在“ 配置DNS和DHCP ”部分中使用xCAT设置了名称服务器192.168.112.1。）CentOS V5.4上的命名服务的默认设置是使用bind-chroot 。 因为xCAT希望命名服务不使用chroot ，所以请删除软件包bind-chroot ，如清单所示。

清单3. DNS设置

xcat1 # more /etc/resolv.conf
   search cluster extnet
   nameserver 192.168.112.1
   nameserver 130.236.101.9

   xcat1 # rpm -q bind-chroot
   bind-chroot-9.3.6-4.P1.el5_4.2

   xcat1 # rpm -e bind-chroot

安装下载的工具

解压缩下载的ZIP文件并运行install.sh脚本以安装本文其余部分中提到的程序。

其他设定

应该禁用增强安全性的Linux®（SELinux）功能。 另外，如果安装了tftp-server软件包，则将其删除，因为xCAT需要atftp软件包，该软件包与tftp-server冲突。 要运行TORQUE作业，请创建一个常规用户，然后NFS导出该用户的主目录。 清单4显示了如何执行这些动作。

清单4.其他设置

xcat1 # rpm -q tftp-server
   tftp-server-0.49-2.el5.centos
   xcat1 # rpm -e tftp-server
   
   xcat1 # grep SELINUX= /etc/sysconfig/selinux | grep -v ^#
   SELINUX=disabled
   
   xcat1 # useradd  -m -s /bin/bash -d /hom