PBS/Torque系列内容总结

       随着互联网技术的发展,海量的数据开始出现,学术界和工业界对大量的计算的需求开始增加。因此,高性能计算平台开始普及,尤其是以集群方式的平台架构开始得到各机构的欢迎。集群方式以其较高的性价比和容易方便的使用方式,开始在国内各大高校中出现。而集群构建和使用中,较为重要的一环就是批处理作业系统和资源管理器的安装部署。目前,集群系统中普遍使用的是PBS系统,该系统以其方便性赢得了大家的认可。

        PBS是功能最为齐全,历史最悠久,支持最广泛的本地资源管理器之一。 PBS的目前版本包括openPBS,PBS Pro和Torque三个主要分支。 其中OpenPBS是最早的PBS系统,目前已经没有太多后续开发,PBS pro是PBS的商业版本,功能最为丰富。Torque是Adaptive Computing Enterprises Inc.(2009年前公司名字是Cluster Resources Inc. )接过了OpenPBS,并给与后续支持的一个开源版本。

       作者实验室最新购买了浪潮的小型集群系统,需要构建计算平台。浪潮的技术人员没有很好的部署好集群系统,所以需要我们再重新部署一下。这个系列,就是关于在浪潮集群系统上安装、配置、验证以及使用PBS/Torque的一些心得体会。具体内容如下:

此外,还可以参考集群系列的文章来理解本系列文章。

  • 2
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
PBS Torque 是一个开源的作业调度系统,可以用于管理计算集群中的作业。在 CentOS 7 上安装 PBS Torque 需要以下步骤: 1. 安装依赖包 ``` yum install -y gcc make openssl-devel libxml2-devel libtool-ltdl-devel libgcrypt-devel ``` 2. 下载并解压 PBS Torque ``` wget http://www.adaptivecomputing.com/downloads/torque/torque-6.1.2.tar.gz tar zxvf torque-6.1.2.tar.gz cd torque-6.1.2 ``` 3. 配置和编译 ``` ./configure --with-default-server=localhost --with-pbs-server-home=/var/spool/torque --enable-gui=no --enable-drmaa=no make make install ``` 4. 配置 PBS Torque 创建一个环境变量文件 `/etc/profile.d/torque.sh`,输入以下内容: ``` export PATH=$PATH:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/local/torque/bin:/usr/local/torque/sbin export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/torque/lib ``` 然后创建一个 PBS Torque 配置文件 `/etc/torque/server_name`,输入以下内容: ``` localhost ``` 5. 启动 PBS Torque ``` pbs_server -t create pbs_sched qmgr -c "create queue batch" qmgr -c "set queue batch queue_type = execution" qmgr -c "set queue batch started = true" qmgr -c "set queue batch enabled = true" qmgr -c "set server scheduling = true" qmgr -c "set server default_queue = batch" qmgr -c "set server log_events = 511" qmgr -c "set server mail_from = adm" qmgr -c "set server query_other_jobs = true" ``` 以上步骤完成后,PBS Torque 就可以正常运行了。你可以使用 `qsub` 命令提交作业,使用 `qstat` 命令查看作业状态。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值