SLURM Array Job

最新推荐文章于 2025-05-01 20:49:46 发布
最新推荐文章于 2025-05-01 20:49:46 发布
阅读量5.7k 收藏 1
点赞数 1
分类专栏： SLURM Linux 文章标签： SLURM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kongxx/article/details/48210919
版权

在 SLURM 中也有类似 UniScheduler 和 PBS 中 Array Job 的概念，不过它的实现有点意思，下面就说道说道。

首先创建一个 shell 脚本来作为 Array Job 的一个作业，内如如下

$ cat test.sh
#!/bin/sh
srun sleep 120

然后就可以通过 sbatch 命令来提交 Array Job了，如下

sbatch --array=1-10 test.sh

刚提交完还有没有任何作业运行时，使用 squeue 查看作业，可以看到新提交的 Array Job 的 JOBID是 “465_[1-10]”

squeue
             JOBID PARTITION     NAME     USER ST       TIME  NODES NODELIST(REASON)
        465_[1-10]    fluent  test.sh  jhadmin PD       0:00      1 (Resources)

等到有作业已经开始运行后，再使用 squeue 查看作业时，可以看到原来的 “465_[1-10]” 变成了“465_[3-10]”，并且又多出两个运行的作业 “465_1” 和 “465_2”

squeue
             JOBID PARTITION     NAME     USER ST       TIME  NODES NODELIST(REASON)
        465_[3-10]    fluent  test.sh  jhadmin PD       0:00      1 (Resources)
             465_1    fluent  test.sh  jhadmin  R       1:52      1 mycentos6x
             465_2    fluent  test.sh  jhadmin  R       1:52      1 mycentos6x

使用 “scontrol show job” 查看作业时，作业信息如下

scontrol show job
JobId=466 ArrayJobId=465 ArrayTaskId=1 JobName=test.sh
   UserId=jhadmin(502) GroupId=jhadmin(502)
   Priority=4294901719 Nice=0 Account=(null) QOS=(null)
   JobState=RUNNING Reason=None Dependency=(null)
   Requeue=1 Restarts=0 BatchFlag=1 Reboot=0 ExitCode=0:0
   RunTime=00:01:09 TimeLimit=UNLIMITED TimeMin=N/A
   SubmitTime=2015-08-14T09:22:57 EligibleTime=2015-08-14T09:22:58
   StartTime=2015-08-14T09:23:51 EndTime=Unknown
   PreemptTime=None SuspendTime=None SecsPreSuspend=0
   Partition=fluent AllocNode:Sid=mycentos6x:17253
   ReqNodeList=(null) ExcNodeList=(null)
   NodeList=mycentos6x
   BatchHost=mycentos6x
   NumNodes=1 NumCPUs=1 CPUs/Task=1 ReqB:S:C:T=0:0:*:*
   Socks/Node=* NtasksPerN:B:S:C=0:0:*:* CoreSpec=*
   MinCPUsNode=1 MinMemoryNode=0 MinTmpDiskNode=0
   Features=(null) Gres=(null) Reservation=(null)
   Shared=OK Contiguous=0 Licenses=(null) Network=(null)
   Command=/home/jhadmin/test.sh
   WorkDir=/home/jhadmin
   StdErr=/home/jhadmin/slurm-465_1.out
   StdIn=/dev/null
   StdOut=/home/jhadmin/slurm-465_1.out
JobId=467 ArrayJobId=465 ArrayTaskId=2 JobName=test.sh
   UserId=jhadmin(502) GroupId=jhadmin(502)
   Priority=4294901719 Nice=0 Account=(null) QOS=(null)
   JobState=RUNNING Reason=None Dependency=(null)
   Requeue=1 Restarts=0 BatchFlag=1 Reboot=0 ExitCode=0:0
   RunTime=00:01:09 TimeLimit=UNLIMITED TimeMin=N/A
   SubmitTime=2015-08-14T09:22:57 EligibleTime=2015-08-14T09:22:58
   StartTime=2015-08-14T09:23:51 EndTime=Unknown
   PreemptTime=None SuspendTime=None SecsPreSuspend=0
   Partition=fluent AllocNode:Sid=mycentos6x:17253
   ReqNodeList=(null) ExcNodeList=(null)
   NodeList=mycentos6x
   BatchHost=mycentos6x
   NumNodes=1 NumCPUs=1 CPUs/Task=1 ReqB:S:C:T=0:0:*:*
   Socks/Node=* NtasksPerN:B:S:C=0:0:*:* CoreSpec=*
   MinCPUsNode=1 MinMemoryNode=0 MinTmpDiskNode=0
   Features=(null) Gres=(null) Reservation=(null)
   Shared=OK Contiguous=0 Licenses=(null) Network=(null)
   Command=/home/jhadmin/test.sh
   WorkDir=/home/jhadmin
   StdErr=/home/jhadmin/slurm-465_2.out
   StdIn=/dev/null
   StdOut=/home/jhadmin/slurm-465_2.out
...
JobId=465 ArrayJobId=465 ArrayTaskId=3-10 JobName=test.sh
   UserId=jhadmin(502) GroupId=jhadmin(502)
   Priority=4294901719 Nice=0 Account=(null) QOS=(null)
   JobState=PENDING Reason=Resources Dependency=(null)
   Requeue=1 Restarts=0 BatchFlag=1 Reboot=0 ExitCode=0:0
   RunTime=00:00:00 TimeLimit=UNLIMITED TimeMin=N/A
   SubmitTime=2015-08-14T09:22:57 EligibleTime=2015-08-14T09:22:58
   StartTime=2016-08-12T09:57:06 EndTime=Unknown
   PreemptTime=None SuspendTime=None SecsPreSuspend=0
   Partition=fluent AllocNode:Sid=mycentos6x:17253
   ReqNodeList=(null) ExcNodeList=(null)
   NodeList=(null)
   NumNodes=1 NumCPUs=1 CPUs/Task=1 ReqB:S:C:T=0:0:*:*
   Socks/Node=* NtasksPerN:B:S:C=0:0:*:* CoreSpec=*
   MinCPUsNode=1 MinMemoryNode=0 MinTmpDiskNode=0
   Features=(null) Gres=(null) Reservation=(null)
   Shared=OK Contiguous=0 Licenses=(null) Network=(null)
   Command=/home/jhadmin/test.sh
   WorkDir=/home/jhadmin
   StdErr=/home/jhadmin/slurm-465_4294967294.out
   StdIn=/dev/null
   StdOut=/home/jhadmin/slurm-465_4294967294.out

等到 1-9 的Array Job都运行完，10的 Array Job 开始运行时，使用 squeue 查看作业如下，原来的 “465_[m-n]” 消失了，只剩下 “465_10” 作业了。

squeue
             JOBID PARTITION     NAME     USER ST       TIME  NODES NODELIST(REASON)
            465_10    fluent  test.sh   kongxx  R       0:53      1 mycentos6x

下面说说取消作业的操作

取消整个array job

scancel 465

取消某个array job

scancel 465_x

如果取消某个中间的 array job，比如“scancel 465_8”命令行输出如下

squeue
             JOBID PARTITION     NAME     USER ST       TIME  NODES NODELIST(REASON)
    465_[6-7,9-10]    fluent  test.sh  jhadmin PD       0:00      1 ...
             465_5    fluent  test.sh  jhadmin R       1:52      1 mycentos6x
scontrol show job
JobId=552 ArrayJobId=552 ArrayTaskId=6-7,9-10 JobName=test.sh 
   UserId=jhadmin(500) GroupId=jhadmin(500)
   Priority=4294901695 Nice=0 Account=(null) QOS=(null)
   JobState=PENDING Reason=Resources Dependency=(null)
   Requeue=1 Restarts=0 BatchFlag=1 Reboot=0 ExitCode=0:0
   RunTime=00:00:00 TimeLimit=UNLIMITED TimeMin=N/A
   SubmitTime=2015-08-27T11:25:57 EligibleTime=2015-08-27T11:25:58
   StartTime=2015-08-27T12:17:16 EndTime=Unknown
   PreemptTime=None SuspendTime=None SecsPreSuspend=0
   Partition=fluent AllocNode:Sid=mycentos6x:3557
   ReqNodeList=(null) ExcNodeList=(null)
   NodeList=(null) SchedNodeList=mycentos6x
   NumNodes=1 NumCPUs=1 CPUs/Task=1 ReqB:S:C:T=0:0:*:*
   Socks/Node=* NtasksPerN:B:S:C=0:0:*:* CoreSpec=*
   MinCPUsNode=1 MinMemoryNode=0 MinTmpDiskNode=0
   Features=(null) Gres=(null) Reservation=(null)
   Shared=OK Contiguous=0 Licenses=(null) Network=(null)
   Command=/apps/test/slurm/test.sh
   WorkDir=/apps/test/slurm
   StdErr=/apps/test/slurm/slurm-552_4294967294.out
   StdIn=/dev/null
   StdOut=/apps/test/slurm/slurm-552_4294967294.out

转载请以链接形式标明本文地址
本文地址：http://blog.csdn.net/kongxx/article/details/48210919

Slurm作业调度系统
qq_15963745的博客
04-28 107
1.请勿在登录/数据传输节点进行计算操作，登录/数据传输节点做了资源限制，直接在登录/数据传输节点进行计算不仅速度慢，还有可能导致登录/数据传输节点卡顿。以下是一个名为cpu.slurm的作业脚本，该脚本向cpu队列申请1个节点40核，并在作业完成时通知。节点状态包括：drain(节点故障)，alloc(节点在用)，idle(节点可用)，down(节点下线)，mix(节点部分占用，但仍有剩余资源）。连接集群后，进入的是登录/数据传输节点，不能直接进行计算，需要通过作业调度系统，将作业提交到计算节点上执行。
slurm跑python_为什么我不能在SLURM中同时运行同一python脚本的多个实例
weixin_39575565的博客
12-06 1290
我一直在努力让python脚本的多个实例在SLURM上运行。在我的登录节点中，我安装了python3.6，并有一个python脚本“my_脚本.py“以文本文件作为输入读取运行参数。我可以在登录节点上使用python3.6 my_script.py input1.txt此外，我可以提交一个脚本提交.sh要运行作业：^{pr2}$这运行良好，并按预期执行。但是，如果我提交以下脚本：#!/bin/ba...
Slurm作业调度系统基本指令
githubcurry
04-02 7626
作业运行过程中使用的可量化实体都是资源；包括硬件资源（节点、内存、CPU 、GPU等）和软件资源（ License ）
Slurm作业系统
weixin_55102248的博客
03-01 2448
在公共集群中使用SLURM作业调度系统进行任务的调度和管理。SLURM （Simple Linux Utility for Resource Management）是一种可用于大型计算节点集群的高度可伸缩和容错的集群管理器和作业调度系统，被世界范围内的超级计算机和计算集群广泛采用。控制节点（Head Node）和计算节点（Compute Node）。这是Slurm集群的主节点，负责整个集群的管理和协调。在控制节点上，需要安装Slurm的控制节点组件，包括slurmctld。
Slurm调度解析
最新发布
weixin_43927080的博客
05-01 990
Slurm 的调度策略是一个多层次、高度可配置的系统
slurm作业提交系统常用命令
热门推荐
u010797364的博客
10-12 3万+
常用术语 user：用户名 node：计算节点 core：cpu 核 job：作业 job step：作业步，单个作业可以有多个作业步 partition：分区，作业需在特定分区中运行 QOS：服务质量，可理解为用户可使用的 CPU、内存等资源限制 tasks：任务数，默认一个任务使用一个 cpu 核，可理解为作业所需的 cpu 核数 socket：cpu 插槽，可理解为物理 cpu 颗数 stdout：标准输出文件，程序运行正常时输出信息的文件，一般指输出到屏幕的信息 stderr：标准错误文件，程序运行
Slurm脚本示例
novanova2009的博客
01-17 2621
A-%a - 作业id (A) 和任务id (a)默认为2Gb，可以指定单位为mb或者gb。设置作业名称，以便在队列中查看（替换中的参数）对于非MPI作业，该数值需要为1。格式HOURS:MINUTES:SECONDS。例如，#SBATCH --array=1-5。END,FAIL - 作业结束和失败时发送。任务数，对于非MPI作业，该数值需要为1。可以用--error单独输出错误log。task（MPI的ranks）的数目。可以创建一组任务（作业）分配给该作业的最小节点数。NONE - 不发送。
【服务器】sbatch 提交作业脚本
qq_37486958的博客
07-08 2万+
在已经写好的脚本的#!bin/bash下面加上： #SBATCH --get-user-env #SBATCH --mail-type=end #SBATCH -J simple_module #SBATCH --nodes=4 #SBATCH --ntasks-per-node=24``` 然后执行脚本的时候用 sbatch ./name_of_bash 即可 ...
笔记| slrum提交HPC任务
lazysnake666的博客
10-17 1966
高性能计算（High-performance computing，HPC）是一个计算机集群系统，它通过各种互联技术将多个计算机系统连接在一起，利用所有被连接系统的综合计算能力来处理大型计算...
以下是一篇关于使用SLURM编写作业脚本的原创技术指南
2501_90644693的博客
02-16 534
**--partition**：集群分区设置，常见有compute/gpu/debug等。- **--ntasks**：总进程数，与nodes和ntasks-per-node存在关联。- **--time**：格式为DD-HH:MM:SS，超时将被强制终止。- **--gres**：特殊资源请求，gpu:N表示申请N块GPU卡。SBATCH --ntasks-per-node=16 每节点核心数。SBATCH --mem-per-cpu=4G 每个CPU核心内存。
2024年Web前端最全slurm深度解析：探索作业调度系统的架构和术语，超硬核
2401_84447297的博客
05-04 733
如果你已经下定决心要转行做编程行业，在最开始的时候就要对自己的学习有一个基本的规划，还要对这个行业的技术需求有一个基本的了解。有一个已就业为目的的学习目标，然后为之努力，坚持到底。如果你有幸看到这篇文章，希望对你有所帮助，祝你转行成功。开源分享：【大厂前端面试题解析+核心总结学习笔记+真实项目实战+最新讲解视频】如果你已经下定决心要转行做编程行业，在最开始的时候就要对自己的学习有一个基本的规划，还要对这个行业的技术需求有一个基本的了解。有一个已就业为目的的学习目标，然后为之努力，坚持到底。
python plt 内存_SLURM Python脚本在循环中累积内存
weixin_40000457的博客
02-09 1406
我在SLURM scheduler for HPC上运行一个简单的python脚本。它读取一个数据集(大约6GB),并绘制并保存部分数据的图像。有几个这样的数据文件,所以我使用一个循环来迭代,直到我完成从每个文件的数据打印。这是我的剧本:import os, psutilimport sdf_helper as shimport numpy as npimport matplotlib.pyplo...
slurm深度解析：探索作业调度系统的架构和术语
clcaojzy的博客
12-12 6209
在高性能计算领域，作业调度系统是一个非常重要的组件，它负责管理集群的资源和作业，以提高计算效率和用户体验。本文将介绍一种流行的开源作业调度系统——slurm，它具有高度可扩展和容错的特点，已被全球多个超级计算中心和大型集群采用。本文将介绍slurm的基本概念、架构和术语，以及如何使用slurm进行作业的提交和管理。以上就是今天要讲的内容，本文简单介绍了slurm的基本概念、架构和术语，以及如何使用slurm进行作业的提交和管理。
【Linux系列】超算作业调度系统批量取消作业介绍
NJUer
02-19 3850
作业调度系统中的批量取消作业方法介绍。
Slurm的前处理prolog和后处理epilog
h_m_l的博客
11-05 2462
1. Slurm前处理和后处理 Slurm支持大量的prolog和epilog程序。 请注意，出于安全原因，这些程序没有设置搜索路径。 在程序中指定完全限定的路径名或设置“PATH”环境变量。 下面的第一个表格列出了可用于作业分配的prolog和epilog，它们的运行时间和地点。 参数 地点 由...调用 用户 ...
slurm跑python_通过python与slurm交互（自动链接作业）
weixin_39521009的博客
12-06 692
我需要在slurm上运行10000个作业(假设每个作业需要30分钟)。目前，计划是用一个作业阵列，并行使用250个核心，如下所示：sbatch --array=0-10000%250 array_script.sh args不幸的是，系统管理员没有更改slurm的MaxArraySize(从默认的1001)。为了“避开”这个问题，我计划将整个工作分成10个部分，并以某种方式安排每一个部分，以便在前...
多服务器任务派发系统,单节点和集群服务器上分配串行和并行任务
weixin_34520360的博客
08-05 576
在单节点服务器上，可以同步按行执行命令文件test.sh，test.sh里面有5,000行命令，先串联250行再并行提交20次，相当于20个线程，脚本如下：parallel.sh#!/bin/bashSTART=1PER_TASK=250for ((count=1; count<=20; count++));doEND=${PER_TASK}*countfor(( i=$START; i&l...
Slurm集群使用
m0_37316673的博客
07-06 4604
常用命令： sinfo #查看服务器节点和分区 squeue -u username #查看你当前运行的任务 scontrol show job JOBID #查看指定的jobID的状态 scancel jobid #取消对应jobid任务 sbatch test.s #以批命令的方式运行test.s这个文件。 scontrol show node #显示所有node节点的硬件信息 scontrol show node node02"#查看名字为node02的节点的硬件信息 smap #以图形的方式显示
slurm随笔
byplane的博客
06-29 4032
资源分配 节点状态 （scontrol show node ..） UNKNOWN  未知 ALLOCATED 已分配 DOWN 故障 IDLE 空闲 DRAIN 不再分配 COMPLETING 有作业完成，正在退出 NO_RESPOND 无响应 分区状态 UP/DOWN 作业状态 PENDING 排队 PD RUNNING 运行 R SUSPENDE
slurm het job 调度
02-12
### 配置和管理Slurm中的异构弹性作业调度 #### Slurm支持的特性概述 Slurm是一个高度可扩展的工作负载管理和资源分配工具，广泛应用于高性能计算环境。为了有效处理异构集群并实现弹性的作业调度，Slurm提供了多种功能来适应不同类型的硬件架构以及动态调整资源需求。 #### 定义节点属性和支持的处理器类型 对于异构环境的支持，可以通过定义特定于每种硬件配置的节点特征来进行优化。这包括但不限于CPU型号、内存大小和其他附加设备（如GPU）。这些信息可以在`slurm.conf`文件中通过设置NodeName参数指定，并利用CPUs, RealMemory等选项描述具体规格[^1]。 ```bash NodeName=node001-016 CPUs=32 Sockets=2 CoresPerSocket=16 ThreadsPerCore=2 State=UNKNOWN Feature=intel,e5-2698v4 NodeName=node017-032 CPUs=40 Sockets=2 CoresPerSocket=20 ThreadsPerCore=2 State=UNKNOWN Feature=intel,e5-2699v4 ``` #### 使用约束表达式请求特定资源配置 当提交任务给Slurm时，可以使用`sbatch`命令配合`--constraint`标志来指明所需的硬件条件。例如，如果某个应用只适合运行在带有E5-2698 v4 CPU 的机器上，则可在脚本头部加入如下指令： ```bash #SBATCH --constraint=intel&e5-2698v4 ``` 这样就能确保该批处理作业只会被安排到符合条件的计算节点上去执行。 #### 实现基于策略的任务优先级排序 除了静态地设定节点外，在面对多变的应用场景下还可以借助FairShare机制或JobPriorityPlugin插件来自定义一套合理的排队规则。前者依据用户的长期贡献度给予相应的权重；后者允许管理员编写复杂的逻辑判断哪些待命队列应该获得更高的重视程度。 #### 动态调整正在运行的任务规模 针对那些能够容忍中途暂停再继续运作的应用程序来说，Slurm也具备良好的伸缩性能力。这意味着一旦检测到有更紧急重要的工作到来，当前占用过多资源的小部分进程会被临时挂起直至腾出足够的空间为止——这一过程由PrologEpilogSupported特性和SuspendTimeOut参数共同控制着其行为模式。 #### 弹性作业的具体实践案例 考虑到某些科学工程领域内存在大量短周期迭代型实验的需求特点，研究者们往往希望尽可能充分利用空闲时段内的闲置算力完成更多次尝试。此时便可通过组合运用上述提到的各种手段达成目标：一方面提前规划好各类机型间的兼容关系以便快速切换部署位置；另一方面则灵活调控各阶段所需实例数量从而减少不必要的等待时间浪费现象发生。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值