SLURM Array Job

最新推荐文章于 2023-08-16 17:12:44 发布
最新推荐文章于 2023-08-16 17:12:44 发布
阅读量5k 收藏 1
点赞数 1
分类专栏： SLURM Linux 文章标签： SLURM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kongxx/article/details/48210919
版权
Linux 同时被 2 个专栏收录
161 篇文章 1 订阅
订阅专栏
SLURM
6 篇文章 1 订阅
订阅专栏

在 SLURM 中也有类似 UniScheduler 和 PBS 中 Array Job 的概念，不过它的实现有点意思，下面就说道说道。

首先创建一个 shell 脚本来作为 Array Job 的一个作业，内如如下

$ cat test.sh
#!/bin/sh
srun sleep 120

然后就可以通过 sbatch 命令来提交 Array Job了，如下

sbatch --array=1-10 test.sh

刚提交完还有没有任何作业运行时，使用 squeue 查看作业，可以看到新提交的 Array Job 的 JOBID是 “465_[1-10]”

squeue
             JOBID PARTITION     NAME     USER ST       TIME  NODES NODELIST(REASON)
        465_[1-10]    fluent  test.sh  jhadmin PD       0:00      1 (Resources)

等到有作业已经开始运行后，再使用 squeue 查看作业时，可以看到原来的 “465_[1-10]” 变成了“465_[3-10]”，并且又多出两个运行的作业 “465_1” 和 “465_2”

squeue
             JOBID PARTITION     NAME     USER ST       TIME  NODES NODELIST(REASON)
        465_[3-10]    fluent  test.sh  jhadmin PD       0:00      1 (Resources)
             465_1    fluent  test.sh  jhadmin  R       1:52      1 mycentos6x
             465_2    fluent  test.sh  jhadmin  R       1:52      1 mycentos6x

使用 “scontrol show job” 查看作业时，作业信息如下

scontrol show job
JobId=466 ArrayJobId=465 ArrayTaskId=1 JobName=test.sh
   UserId=jhadmin(502) GroupId=jhadmin(502)
   Priority=4294901719 Nice=0 Account=(null) QOS=(null)
   JobState=RUNNING Reason=None Dependency=(null)
   Requeue=1 Restarts=0 BatchFlag=1 Reboot=0 ExitCode=0:0
   RunTime=00:01:09 TimeLimit=UNLIMITED TimeMin=N/A
   SubmitTime=2015-08-14T09:22:57 EligibleTime=2015-08-14T09:22:58
   StartTime=2015-08-14T09:23:51 EndTime=Unknown
   PreemptTime=None SuspendTime=None SecsPreSuspend=0
   Partition=fluent AllocNode:Sid=mycentos6x:17253
   ReqNodeList=(null) ExcNodeList=(null)
   NodeList=mycentos6x
   BatchHost=mycentos6x
   NumNodes=1 NumCPUs=1 CPUs/Task=1 ReqB:S:C:T=0:0:*:*
   Socks/Node=* NtasksPerN:B:S:C=0:0:*:* CoreSpec=*
   MinCPUsNode=1 MinMemoryNode=0 MinTmpDiskNode=0
   Features=(null) Gres=(null) Reservation=(null)
   Shared=OK Contiguous=0 Licenses=(null) Network=(null)
   Command=/home/jhadmin/test.sh
   WorkDir=/home/jhadmin
   StdErr=/home/jhadmin/slurm-465_1.out
   StdIn=/dev/null
   StdOut=/home/jhadmin/slurm-465_1.out
JobId=467 ArrayJobId=465 ArrayTaskId=2 JobName=test.sh
   UserId=jhadmin(502) GroupId=jhadmin(502)
   Priority=4294901719 Nice=0 Account=(null) QOS=(null)
   JobState=RUNNING Reason=None Dependency=(null)
   Requeue=1 Restarts=0 BatchFlag=1 Reboot=0 ExitCode=0:0
   RunTime=00:01:09 TimeLimit=UNLIMITED TimeMin=N/A
   SubmitTime=2015-08-14T09:22:57 EligibleTime=2015-08-14T09:22:58
   StartTime=2015-08-14T09:23:51 EndTime=Unknown
   PreemptTime=None SuspendTime=None SecsPreSuspend=0
   Partition=fluent AllocNode:Sid=mycentos6x:17253
   ReqNodeList=(null) ExcNodeList=(null)
   NodeList=mycentos6x
   BatchHost=mycentos6x
   NumNodes=1 NumCPUs=1 CPUs/Task=1 ReqB:S:C:T=0:0:*:*
   Socks/Node=* NtasksPerN:B:S:C=0:0:*:* CoreSpec=*
   MinCPUsNode=1 MinMemoryNode=0 MinTmpDiskNode=0
   Features=(null) Gres=(null) Reservation=(null)
   Shared=OK Contiguous=0 Licenses=(null) Network=(null)
   Command=/home/jhadmin/test.sh
   WorkDir=/home/jhadmin
   StdErr=/home/jhadmin/slurm-465_2.out
   StdIn=/dev/null
   StdOut=/home/jhadmin/slurm-465_2.out
...
JobId=465 ArrayJobId=465 ArrayTaskId=3-10 JobName=test.sh
   UserId=jhadmin(502) GroupId=jhadmin(502)
   Priority=4294901719 Nice=0 Account=(null) QOS=(null)
   JobState=PENDING Reason=Resources Dependency=(null)
   Requeue=1 Restarts=0 BatchFlag=1 Reboot=0 ExitCode=0:0
   RunTime=00:00:00 TimeLimit=UNLIMITED TimeMin=N/A
   SubmitTime=2015-08-14T09:22:57 EligibleTime=2015-08-14T09:22:58
   StartTime=2016-08-12T09:57:06 EndTime=Unknown
   PreemptTime=None SuspendTime=None SecsPreSuspend=0
   Partition=fluent AllocNode:Sid=mycentos6x:17253
   ReqNodeList=(null) ExcNodeList=(null)
   NodeList=(null)
   NumNodes=1 NumCPUs=1 CPUs/Task=1 ReqB:S:C:T=0:0:*:*
   Socks/Node=* NtasksPerN:B:S:C=0:0:*:* CoreSpec=*
   MinCPUsNode=1 MinMemoryNode=0 MinTmpDiskNode=0
   Features=(null) Gres=(null) Reservation=(null)
   Shared=OK Contiguous=0 Licenses=(null) Network=(null)
   Command=/home/jhadmin/test.sh
   WorkDir=/home/jhadmin
   StdErr=/home/jhadmin/slurm-465_4294967294.out
   StdIn=/dev/null
   StdOut=/home/jhadmin/slurm-465_4294967294.out

等到 1-9 的Array Job都运行完，10的 Array Job 开始运行时，使用 squeue 查看作业如下，原来的 “465_[m-n]” 消失了，只剩下 “465_10” 作业了。

squeue
             JOBID PARTITION     NAME     USER ST       TIME  NODES NODELIST(REASON)
            465_10    fluent  test.sh   kongxx  R       0:53      1 mycentos6x

下面说说取消作业的操作

取消整个array job

scancel 465

取消某个array job

scancel 465_x

如果取消某个中间的 array job，比如“scancel 465_8”命令行输出如下

squeue
             JOBID PARTITION     NAME     USER ST       TIME  NODES NODELIST(REASON)
    465_[6-7,9-10]    fluent  test.sh  jhadmin PD       0:00      1 ...
             465_5    fluent  test.sh  jhadmin R       1:52      1 mycentos6x
scontrol show job
JobId=552 ArrayJobId=552 ArrayTaskId=6-7,9-10 JobName=test.sh 
   UserId=jhadmin(500) GroupId=jhadmin(500)
   Priority=4294901695 Nice=0 Account=(null) QOS=(null)
   JobState=PENDING Reason=Resources Dependency=(null)
   Requeue=1 Restarts=0 BatchFlag=1 Reboot=0 ExitCode=0:0
   RunTime=00:00:00 TimeLimit=UNLIMITED TimeMin=N/A
   SubmitTime=2015-08-27T11:25:57 EligibleTime=2015-08-27T11:25:58
   StartTime=2015-08-27T12:17:16 EndTime=Unknown
   PreemptTime=None SuspendTime=None SecsPreSuspend=0
   Partition=fluent AllocNode:Sid=mycentos6x:3557
   ReqNodeList=(null) ExcNodeList=(null)
   NodeList=(null) SchedNodeList=mycentos6x
   NumNodes=1 NumCPUs=1 CPUs/Task=1 ReqB:S:C:T=0:0:*:*
   Socks/Node=* NtasksPerN:B:S:C=0:0:*:* CoreSpec=*
   MinCPUsNode=1 MinMemoryNode=0 MinTmpDiskNode=0
   Features=(null) Gres=(null) Reservation=(null)
   Shared=OK Contiguous=0 Licenses=(null) Network=(null)
   Command=/apps/test/slurm/test.sh
   WorkDir=/apps/test/slurm
   StdErr=/apps/test/slurm/slurm-552_4294967294.out
   StdIn=/dev/null
   StdOut=/apps/test/slurm/slurm-552_4294967294.out

转载请以链接形式标明本文地址
本文地址：http://blog.csdn.net/kongxx/article/details/48210919

kongxx
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
slurm-web, Slurm HPC工作负载管理器 web JS仪表板和 JSON REST API.zip
09-18
slurm-web, Slurm HPC工作负载管理器 web JS仪表板和 JSON REST API slurm站点 概述Slurm web提供了一个web仪表板和一个 REST API 到Slurm高性能超级计算机，具有当前作业和。后端 REST API 是使用 Flask web框架在 python 中完成的。 它被设计
slurm调度设计文档
12-22
一篇文档让你精通Slurm调度！Slurm调度的考虑点、调度模型、涉及的插件和参数、调度主要流程和关键代码。涉及主调度器/回填调度/网络拓扑/gpu调度/抢占/gang/资源预约/checkpoint等插件细节。
Slurm作业调度系统基本指令
githubcurry
04-02 5222
作业运行过程中使用的可量化实体都是资源；包括硬件资源（节点、内存、CPU 、GPU等）和软件资源（ License ）
slurm作业提交系统常用命令
u010797364的博客
10-12 2万+
常用术语 user：用户名 node：计算节点 core：cpu 核 job：作业 job step：作业步，单个作业可以有多个作业步 partition：分区，作业需在特定分区中运行 QOS：服务质量，可理解为用户可使用的 CPU、内存等资源限制 tasks：任务数，默认一个任务使用一个 cpu 核，可理解为作业所需的 cpu 核数 socket：cpu 插槽，可理解为物理 cpu 颗数 stdout：标准输出文件，程序运行正常时输出信息的文件，一般指输出到屏幕的信息 stderr：标准错误文件，程序运行
Slurm的前处理prolog和后处理epilog
h_m_l的博客
11-05 1893
1. Slurm前处理和后处理 Slurm支持大量的prolog和epilog程序。 请注意，出于安全原因，这些程序没有设置搜索路径。 在程序中指定完全限定的路径名或设置“PATH”环境变量。 下面的第一个表格列出了可用于作业分配的prolog和epilog，它们的运行时间和地点。 参数 地点 由...调用 用户 ...
Slurm脚本示例
novanova2009的博客
01-17 1985
A-%a - 作业id (A) 和任务id (a)默认为2Gb，可以指定单位为mb或者gb。设置作业名称，以便在队列中查看（替换中的参数）对于非MPI作业，该数值需要为1。格式HOURS:MINUTES:SECONDS。例如，#SBATCH --array=1-5。END,FAIL - 作业结束和失败时发送。任务数，对于非MPI作业，该数值需要为1。可以用--error单独输出错误log。task（MPI的ranks）的数目。可以创建一组任务（作业）分配给该作业的最小节点数。NONE - 不发送。
【集群】Slurm作业调度系统的使用
丑小鸭
02-11 4605
【集群】Slurm作业调度系统的使用
【GPU】计算集群Slurm使用
qq_43426078的博客
01-26 7020
Motivation 之前从来没有用过集群，跑代码都是用单独的服务器，第一次上手组里的集群懵逼了一天。中文的博客大部分都写的很一般，有些我想知道的问题也找不到答案。所以就想着，自己一遍学习一边记录一下，做成一个入门的介绍，方便自己和其他新入门的朋友查看。 查看节点状态 sinfo 输出参数的含义PARRITION：节点所在分区 AVAIL：分区状态，up 标识可用，down 标识不可用 TIMELIMIT：程序运行最大时长，infinite 表示不限制，如果限制格式为 days-houres:minute
sbatch提交作业
最新发布
dghack的博客
08-16 1346
q 指定队列类型，列如：-q eco 指定使用经济型队列，如果队列未开启经济型，则启动标准型。2个4核心节点启动2个并行任务, 每个任务使用4个cpu核心。1个4核心节点启动1个并行任务, 该任务使用4个cpu核心。-p 指定计算节点规格，使用sinfo查看所支持的规格。-n 指定任务数，即并行程序运行多少个进程。使用2个4核心节点启动8个并行任务。1个4核心节点启动4个并行任务。1个4核心节点启动4个并行任务。取消程序运行，释放分配的计算节点。使用sbatch提交到计算节点。-N 申请的节点数量。
【服务器】sbatch 提交作业脚本
qq_37486958的博客
07-08 2万+
在已经写好的脚本的#!bin/bash下面加上： #SBATCH --get-user-env #SBATCH --mail-type=end #SBATCH -J simple_module #SBATCH --nodes=4 #SBATCH --ntasks-per-node=24``` 然后执行脚本的时候用 sbatch ./name_of_bash 即可 ...
笔记| slrum提交HPC任务
lazysnake666的博客
10-17 1432
高性能计算（High-performance computing，HPC）是一个计算机集群系统，它通过各种互联技术将多个计算机系统连接在一起，利用所有被连接系统的综合计算能力来处理大型计算...
slurm info.docx
12-21
slurm info.docx 自己总结的非常全的slurm 安装详细的文档！很不错的！！！值得推荐
slurm在ubuntu上的搭建
04-07
slurm在ubuntu上的搭建
slurm安装文档
01-22
SLURM 是一个可用于大型计算节点集群的高度可伸缩的集群管理器和作业调度系统。
centos7安装slurm21.08
04-27
非常详细的搭建步骤，包含了数据库配置，历史作业查询功能，gpu调用等方面的配置 1. 修改主机名字 hostnamectl set-hostname master（主机名） 2关闭 Firewall # systemctl stop firewalld.service ...
SLURM 安装与配置
热门推荐
kongxx的专栏
09-02 3万+
SLURM 安装与配置SLURM 介绍SLURM 是一个可用于大型计算节点集群的高度可伸缩的集群管理器和作业调度系统。SLURM 维护着一个待处理工作的队列并管理此工作的整体资源利用。SLURM 将作业分发给一组已分配的节点来执行。本质上，SLURM 是一个强健的集群管理器，它高度可移植、可伸缩至大型节点集群、容错好，而且更重要的是它是开源的。关于 SLURM 的架构可以参考 http://slur
SLURM 节点状态总是drained问题
kongxx的专栏
09-03 2万+
问题描述新装的 SLURM 集群在运行了一些作业并修改一些配置项目以后，用sinfo查看信息的时候看到部分节点状态总是 drained ，但是在这个节点上并没有作业在运行，重启 slurm 服务问题依旧，如下$ sinfoPARTITION AVAIL TIMELIMIT NODES STATE NODELIST debug* up infinite 1 drain
Slurm提交MPI作业
kongxx的专栏
09-20 1万+
Slurm提交MPI作业首先准备一个MPI程序，这里使用python语言的mpi4py库写了一个helloworld.py#!/usr/bin/env python """ Parallel Hello World """from mpi4py import MPI import sys import timesize = MPI.COMM_WORLD.Get_size() rank = MPI.C
Slurm查看作业CPU和MEM
kongxx的专栏
09-16 1万+
Slurm查看作业CPU和MEMSlurm中使用 squeue 和 scontrol show job 命令查询作业的时候是看不到作业的CPU和MEM使用情况的，此时我们可以使用sstat和sacct来查看作业的CPU和MEM使用情况。配置要能查看CPU和MEM，首先我们需要修改/etc/slurm/slurm.conf文件中的下面两项SelectType=select/cons_res Selec
在slurm中, task ,job ,job step 之间的关系
05-11
在SLURM中，任务（task）是指执行单个进程的实例。作业（job）是一组相关的任务。作业步骤（job step）是作业执行期间的一个阶段，通常是一组任务的集合。一个作业可以由一个或多个作业步骤组成。 具体而言，在SLURM中，用户提交一个作业（job），该作业可以包含一个或多个作业步骤（job step），每个作业步骤可以包含一个或多个任务（task）。SLURM会分配资源并启动每个任务，同时跟踪作业和作业步骤的状态。在作业执行期间，用户可以查询作业和作业步骤的状态，以及任务的状态。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值