PBS数组作业

最新推荐文章于 2023-11-24 16:32:59 发布
最新推荐文章于 2023-11-24 16:32:59 发布
阅读量1.8k 收藏
点赞数 1
分类专栏： PBS 文章标签： PBS
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kongxx/article/details/52794280
版权

数组作业

# 提交
$ echo 'sleep 60' | qsub -J 1-10

# 查询
$ qstat -x -t -J -w -u admin
$ qstat -x -f 15[]
$ qstat -x -f 15[1]

# printjob命令只能查看整体数组作业信息，不能查看具体某个数组作业的信息
# printjob 15[]

普通作业详细信息

$ qstat -x -f 8 
Job Id: 8.pbsmaster
    Job_Name = STDIN
    Job_Owner = admin@pbsmaster
    resources_used.cpupercent = 0
    resources_used.cput = 00:00:00
    resources_used.mem = 3188kb
    resources_used.ncpus = 1
    resources_used.vmem = 32360kb
    resources_used.walltime = 00:02:04
    job_state = F
    queue = workq
    server = pbsmaster
    Checkpoint = u
    ctime = Mon Oct 10 03:45:56 2016
    Error_Path = pbsmaster:/home/admin/STDIN.e8
    exec_host = pbsmaster/1
    exec_vnode = (pbsmaster:ncpus=1)
    Hold_Types = n
    Join_Path = n
    Keep_Files = n
    Mail_Points = a
    mtime = Mon Oct 10 03:48:00 2016
    Output_Path = pbsmaster:/home/admin/STDIN.o8
    Priority = 0
    qtime = Mon Oct 10 03:45:56 2016
    Rerunable = True
    Resource_List.ncpus = 1
    Resource_List.nodect = 1
    Resource_List.place = pack
    Resource_List.select = 1:ncpus=1
    schedselect = 1:ncpus=1
    stime = Mon Oct 10 03:45:56 2016
    session_id = 1488
    jobdir = /home/admin
    substate = 92
    Variable_List = PBS_O_HOME=/home/admin,PBS_O_LANG=en_US.UTF-8,
  PBS_O_LOGNAME=admin,
  PBS_O_PATH=/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/opt
  /pbs/bin:/home/admin/.local/bin:/home/admin/bin,
  PBS_O_MAIL=/var/spool/mail/admin,PBS_O_SHELL=/bin/bash,
  PBS_O_WORKDIR=/home/admin,PBS_O_SYSTEM=Linux,PBS_O_QUEUE=workq,
  PBS_O_HOST=pbsmaster
    euser = admin
    egroup = admin
    hashname = 8.pbsmaster
    queue_rank = 4
    queue_type = E
    comment = Job run at Mon Oct 10 at 03:45 on (pbsmaster:ncpus=1) and finishe
  d
    etime = Mon Oct 10 03:45:56 2016
    run_count = 1
    Stageout_status = 1
    Exit_status = 0
    history_timestamp = 1476071280
    project = _pbs_project_default
    run_version = 1

数组作业详细信息

$ qstat -x -f 9[] 
Job Id: 9[].pbsmaster
    Job_Name = STDIN
    Job_Owner = admin@pbsmaster
    job_state = F
    queue = workq
    server = pbsmaster
    Checkpoint = u
    ctime = Mon Oct 10 09:39:33 2016
    Error_Path = pbsmaster:/home/admin/STDIN.e9.^array_index^
    Hold_Types = n
    Join_Path = n
    Keep_Files = n
    Mail_Points = a
    mtime = Mon Oct 10 09:45:30 2016
    Output_Path = pbsmaster:/home/admin/STDIN.o9.^array_index^
    Priority = 0
    qtime = Mon Oct 10 09:39:33 2016
    Rerunable = True
    Resource_List.ncpus = 1
    Resource_List.nodect = 1
    Resource_List.place = pack
    Resource_List.select = 1:ncpus=1
    schedselect = 1:ncpus=1
    substate = 91
    Variable_List = PBS_O_HOME=/home/admin,PBS_O_LANG=en_US.UTF-8,
  PBS_O_LOGNAME=admin,
  PBS_O_PATH=/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/opt
  /pbs/bin:/home/admin/.local/bin:/home/admin/bin,
  PBS_O_MAIL=/var/spool/mail/admin,PBS_O_SHELL=/bin/bash,
  PBS_O_WORKDIR=/home/admin,PBS_O_SYSTEM=Linux,PBS_O_QUEUE=workq,
  PBS_O_HOST=pbsmaster
    euser = admin
    egroup = admin
    queue_rank = 5
    queue_type = E
    comment = Job Array Began at Mon Oct 10 at 09:39 and terminated
    etime = Mon Oct 10 09:39:33 2016
    Stageout_status = 0
    Exit_status = 0
    Submit_arguments = -J 1-10
    array = True
    array_state_count = Queued:0 Running:0 Exiting:0 Expired:0 
    array_indices_submitted = 1-10
    history_timestamp = 1476092730
    project = _pbs_project_default

$ qstat -x -f 9[1] 
Job Id: 9[1].pbsmaster
    Job_Name = STDIN
    Job_Owner = admin@pbsmaster
    job_state = F
    queue = workq
    server = pbsmaster
    Checkpoint = u
    ctime = Mon Oct 10 09:39:33 2016
    Error_Path = pbsmaster:/home/admin/STDIN.e9.^array_index^
    Hold_Types = n
    Join_Path = n
    Keep_Files = n
    Mail_Points = a
    mtime = Mon Oct 10 09:45:30 2016
    Output_Path = pbsmaster:/home/admin/STDIN.o9.^array_index^
    Priority = 0
    qtime = Mon Oct 10 09:39:33 2016
    Rerunable = True
    Resource_List.ncpus = 1
    Resource_List.nodect = 1
    Resource_List.place = pack
    Resource_List.select = 1:ncpus=1
    schedselect = 1:ncpus=1
    substate = 91
    Variable_List = PBS_O_HOME=/home/admin,PBS_O_LANG=en_US.UTF-8,
  PBS_O_LOGNAME=admin,
  PBS_O_PATH=/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/opt
  /pbs/bin:/home/admin/.local/bin:/home/admin/bin,
  PBS_O_MAIL=/var/spool/mail/admin,PBS_O_SHELL=/bin/bash,
  PBS_O_WORKDIR=/home/admin,PBS_O_SYSTEM=Linux,PBS_O_QUEUE=workq,
  PBS_O_HOST=pbsmaster
    euser = admin
    egroup = admin
    queue_rank = 5
    queue_type = E
    comment = Subjob finished
    etime = Mon Oct 10 09:39:33 2016
    Stageout_status = 0
    Exit_status = 0
    Submit_arguments = -J 1-10

转载请以链接形式标明本文链接
本文链接：http://blog.csdn.net/kongxx/article/details/52794280

kongxx
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
高性能计算机PBS的使用
11-03
高性能计算机PBS的使用及设置方法，重点介绍了PBS的安装,QMGR函数的使用，钩子函数HOOK的编写
关于公司服务器上LBS上仿真的任务相关命令
weixin_38753095的博客
11-26 351
PBS 是公开源代码的作业管理系统，在此环境下运行，用户不需要指定程序在哪些节点上运行，程序 所需的硬件资源由PBS 管理和分配。 1、PBS 命令 PBS 提供4 条命令用于作业管理。 (1) qsub 命令—用于提交作业脚本 命令格式： qsub [-a date_time] [-c interval] [-C directive_prefix] [-e path] [-I] [-j join] [-k keep] [-l resource_list] [-m mail_options] [-M use
PBS命令相关
Wiil的博客
06-20 7021
qmgr命令 PBS队列设置常用命令 完整的使用create子命令创建队列： qmgr -c "create queue batch queue_type=execution"一旦创建就应该进行配置，最小化的配置包括设定started和enabled。进一步的配置可能要组合节点属性进行配置，对于queue_type，E和R分别与execution 和 routing同义。 队列配置举例： 这个
PBS常用基本命令------PBS入门
发呆小钢炮
02-10 6194
文中用sn(sequence-number) 代表要执行操作的任务编号 命令 说明 qsub [script_name] 任务提交 qdel sn 删除任务，后面跟任务编号 qstat 任务状态查看 qdel sn 任务删除 showq 正在执行以及将要执行的任务状态查看 ...
pbs作业系统常用参数以及命令
m0_58485149的博客
07-17 1468
nodecpu=’cat /proc/cpuinfo|grep processor|wc -l’ 反引号内为计算系统可用的cpu核数目，然后赋值给变量nodecpu。强制删除作业（当某些作业由于节点死机无法删除时，可由root用户登录，使用qdel -p 作业号来删除作业）NP=’cat $PBS_NODEFILE|wc -l’ 计算申请的CPU核数量，赋值给NP。nodes=2:ppn=28，即设定该作业所需2个节点，每个节点使用28核。S：作业被服务器挂起，由于一个更优先级的作业需要当前作业的资源。
使用EHPC实现“完美并行”的高效批处理方案
weixin_30416497的博客
02-25 50
使用EHPC实现“完美并行”的高效批处理方案 在高性能计算场景中，用户一次业务计算可以划分为大量的任务，每个任务的处理逻辑相同，但是输入文件、参数设置和输出文件不同。由于每个任务处理逻辑相似，执行时彼此没有依赖，按照高性能计算的并行计算模式，可归为 “embarrassing parallel”一类(又被称为完美并行问题），这类问题很少或根本不需要将问题分成许多并行任务的工作，通这些并行任务之间...
python qsub是啥意思_python – 使用qsub提交连续和独立作业的速度有多快？
weixin_39862716的博客
12-11 771
这个问题与pbs job no output when busy有关.即我提交的一些工作在PBS / Torque“忙”时不产生输出.我想,当一个接一个地提交许多工作时,它更加繁忙,并且正如它所发生的那样,以这种方式提交的工作,我经常会得到一些不产生任何输出的工作.这是一些代码.假设我有一个名为“x_analyse.py”的python脚本,它将包含一些数据的文件作为输入,并分析存储在文件中的数据...
pbs作业调度系统讲义
07-10
pbs作业调度系统
pbs作业管理系统.ppt
06-26
pbs作业管理系统.ppt该文档详细且完整，值得借鉴下载使用，欢迎下载使用，有问题可以第一时间联系作者~
PBS Pro 9.3用户手册
08-17
支持批处理、交互式作业和串行、多种并行作业，如MPI、 PVM、HPF、MPL；PBS是功能最为齐全, 历史最悠久, 支持最广泛的本地集群调度器之一. PBS的目前包括openPBS, PBS Pro和Torque三个主要分支. 其中OpenPBS是最早的...
linux作业管理系统pbs
07-24
该文档是Linux系统的作业管理系统讲义，可以参考一下！
作业调度系统PBSPro的windows开源版本
06-02
作业调度系统PBSPro的windows开源版本，从github上面下载的，编译很久。
PBS 使用指南
最新发布
Persus & Xie
11-24 2255
PBS 介绍及使用教程
单机安装运行PBS （Torque）
热门推荐
kongxx的专栏
09-26 1万+
本文链接：http://blog.csdn.net/kongxx/article/details/8022496首先从http://www.adaptivecomputing.com/resources/downloads/torque/ 最新的安装包，这里使用的是4.1.2版本，文件名是torque-4.1.2.tar.gz。安装$ ./configure $ make $ sudo make
PBS查看历史作业
kongxx的专栏
10-11 7334
PBS查看历史作业PBS默认情况下使用qstat查看作业时是看不到历史作业的，如果需要查询历史作业，需要修改pbs的配置，设置job_history_enable=True，具体命令如下：# qmgr Qmgr: set server job_history_enable=True Qmgr: set server job_history_duration=336:00:00上面的命令设置了保存两周
Torque /usr/local/sbin/pbs_mom: error while loading shared libraries: libtorque.so.2: ...
kongxx的专栏
10-21 6473
安装Torque4.1.2在各个node后，在运行“sudo /usr/local/sbin/pbs_mom”启动服务的时候出现下面错误/usr/local/sbin/pbs_mom: error while loading shared libraries: libtorque.so.2: cannot open shared object file: No such file or direc
Torque运行时"qmgr obj=XXX svr=default: Unauthorized Request MSG=error in permissions (PERM_XXX)"问题解决办法
kongxx的专栏
10-17 6395
在安装Torque4.1.2之后，运行"sudo ./torque.setup "有时候出现下面的错误================================================================================ initializing TORQUE ... You have selected to start pbs_server in cr
pbs作业脚本
06-02
PBS（Portable Batch System）是一种常用的高性能计算集群作业调度系统，允许用户提交和管理作业。下面是一个简单的PBS作业脚本示例： ```bash #!/bin/bash #PBS -N myjob # 作业名称 #PBS -o myjob.out # 输出文件名 #PBS -e myjob.err # 错误文件名 #PBS -l nodes=1:ppn=4 # 使用的节点数和每个节点的CPU核心数 #PBS -l walltime=1:00:00 # 作业最长运行时间 # 进入工作目录 cd $PBS_O_WORKDIR # 执行作业 mpirun -np 4 ./myprogram ``` 在这个脚本中，`#PBS`开头的行是PBS作业的属性设置，例如作业名称、输出文件名、使用的节点数和每个节点的CPU核心数、作业最长运行时间等。在脚本中，可以通过`$PBS_O_WORKDIR`环境变量获取作业提交的工作目录，执行作业的命令可以根据实际情况进行修改。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值