高性能服务器理论与计算化学,计算化学集群服务器简明使用指引-VLCC.PDF

计算化学集群服务器简明使用指引-VLCC

计算化学集群服务器简明使用指南

v1.10 (2009-6-17)

一、系统环境

1)硬件环境：

头结点一个，机器名 /console/node00 ，双路四核Intel

Xeon E5320 处理器，1.86G 主频，2*4M 缓存，4G 内存，6 块 400G SATA 硬盘，

Raid5 。

计算结点八个，机器名 node01-node08 双路双核 AMD Opteron 2220 处理器，

2.8G 主频，2*1M 缓存，node01-node04 四个结点为8G 内存，node05-node08 四个

结点为 4G 内存，一块300G SATA 硬盘。

结点间通过 2 套以太网络进行连接，一条为千兆网，用于计算数据和文件系统，另

一套为百兆网，用于管理通讯。

2)软件环境：

CentOS 5.1 x64 操作系统，内核版本 2.6.18-53.el5 。

GNU/Intel C/C++/Fortran 编译器。

MPICH1/MPICH2/IntelMPI/OpenMPI 并行编程环境。

Intel MKL/IPP 数学函数库。

Torque 作业资源管理系统。

Ganglia 集群监控系统。

)文件系统：

node01-node08 通过 NFS 挂载 console 的/opt 和/home 目录，node01-

node08 本地磁盘空间尚未被利用。因此本集群 I/O 性能并不可靠，建议不要在该集群上运

行会造成大规模 I/O 的程序。

二、编译环境

目前在计算化学集群服务器上推荐使用的编译器及 MPI 并行环境为以下几种组合：

1. Intel C++/Fortran EM64T 编译器和 MPICH2;

2. Intel C++/Fortran EM64T 编译器和 IntelMPI;

3. Intel C++/Fortran EM64T 编译器和 OpenMPI 。

在每个用户主目录下有一个名为.compenv 的隐藏文件，该文件保存着用户的编译环境

配置。如该文件被删除或不存在(比如新用户)，则在下次登录时会自动执行配置脚本，重

新配置编译环境。配置时根据提示选译上述对应的编译器和 MPI 实现版本的选项即可(上

述 项分别对应于选项 1-2/1-3/1-4，注意不要选错)。

(注：在Windows 有的终端工具在自动执行配置脚本时不出现界面，出现登录僵死状

态，如 Xmanager ，这时可先使用其它工具如putty 登录，配置好之后再用原来工具登录

则不会出现问题。)

登录后如需临时更改编译环境，可执行：

source /opt/cluster/sccas/config-compenv

执行上述语句后，当前编译环境被改变，但在下次登录时仍然保留原有配置。如需永久

改变编译环境，可以删除主目录下的.compenv 文件，或是执行:

source /opt/cluster/sccas/config-compenv -o ~/.compenv

要验证当前并行编译环境，可执行以下一些命令进行判断：

which mpicc (检查所使用的MPI 实现版本)

mpicc -show (检查MPI 编译器绑定所使用的编译器)

三、作业提交运行

计算化学集群服务器上目前安装的是 Torque 资源管理系统，该系统是著名的开源系统

OpenPBS 的后续开源版本(PBS Pro 是 OpenPBS 的商业化版本)，命令基本兼容于

OpenPBS 和 PBS Pro 。Torque 资源管理系统的官方网站是：

/pages/products/torque-resource-manager.php

在该网站上可以下载该软件的源码和配置使用文档。如需进一步了解，可自行进行下载

阅读学习。

下面简单说明如何在计算化学集群服务器上使用 Torque 提交运行作业：

1)作业脚本

在 Torque 中，作业脚本用来描述运行作业(程序)所需执行的命令和程序，也可以用

来配置该作业的参数(参数一般在提交作业时通过命令行直接指定)。用户通过使用 qusb

提交该作业脚本，使脚本文件中所写的程序和命