Slurm资源管理与作业调度系统的安装配置以及简单维护手册

最新推荐文章于 2024-04-28 07:40:53 发布
最新推荐文章于 2024-04-28 07:40:53 发布
阅读量2.1k 收藏 30
点赞数 31
文章标签： linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44020712/article/details/136477717
版权
Slurm是一个开源的，具有容错性和高可用性的linux集群超级计算机资源管理和作业调度系统，具有可以避免相互干扰，提高运行效率等特点。
摘要由CSDN通过智能技术生成

Slurm资源管理与作业调度系统的安装配置以及简单维护手册

该文档基于slurm 23.02.1及CentOS 7.9 x86_64、除特殊说明所有命令都在root环境下执行

1. Slurm简介

1.1 用途

Slurm是一个开源的，具有容错性和高可用性的linux集群超级计算机资源管理和作业调度系统，具有可以避免相互干扰，提高运行效率等特点。

1.2 专业术语

  • 节点：

    • Head Node ：头节点，管理节点，控制节点
    • Compute Node ：计算节点
    • Login Node ：登陆节点
    • DBD Node ： 数据库节点

  • 用户：

    • account ： 账户，一个账户中包含多个用户
    • user ： 用户，多个用户可以共享一个账户
    • bank account ： 银行账户，对应付费和机时费

  • 资源：

    • GRES ： 通用资源
    • TRES ： 可追踪资源
    • QOS ： 服务质量，作业优先度

    ​

1.3架构以及命令

Slurm具有四个守护进程，分别是Slurmctld,Slurmd,Slurmdbd,Slurmrestd.其中Slurmctld运行在控制节点，作为中心管理器用于检测资源和作业（可以配置备份的管理节点用于保证高可用性）。Slurmd运行在所有计算节点上，以便被用于作为远程shell使用：等待作业、执行作业、返回状态、再等待更多作业。Slurmdbd运行在数据库节点，一般用于与数据库进行交互，管理集群的记账信息。Slurmrestd(Slurm REST API Daemon)服务（非必需），该服务可以通过REST API与Slurm进行交互，所有功能都对应的API。

常见命令：

#用户作业工具
srun   										//提交运行作业
scacle										//取消运行作业
sinfo 										//查看系统运行状态
squeue										//查看作业状态
sacct 										//查看运行或结束的作业以及作业步信息
#系统管理命令
scontrol									//启动一个shell，作为管理工具、可以监控、修改集群的配置和状态信息等。
#数据库管理命令
sacctmgr 									//启动一个shell，用以管理数据库，可认证集群、有效用户、有效记账账户等。

1.4 配置模式

Slurm客户节点配置，有两种模式：

  • 传统模式：采用slurm.conf 等配置文件进行配置。
  • 无配置(configless)模式：客户节点无需配置 配置文件。

无配置模式是Slurm的一项新特性（从20.02版起支持），可以允许计算节点和用户登录节点从slurmctld守护进程获取配置而无需采用 /etc/slurm 等目录下的本地配置文件。集群在Slurm控制节点上统一控制配置文件，计算节点、登录节点和其它集群节点只需通过 /lib/systemd/system/slurmd.service 文件配置slurmd服务启动参数，利用启动后的slurmd服务获取所需配置信息即可，而无需复制管理节点上的这些文件成为本地文件（降低文件配置不一样的风险）。支持的配置文件有：

  • slurm.conf
  • acct_gather.conf
  • cgroup.conf
  • cgroup_allowed_devices_file.conf
  • cli_filter.lua
  • ext_sensors.conf
  • gres.conf
  • helpers.conf
  • job_container.conf
  • knl_cray.conf
  • knl_generic.conf
  • oci.conf
  • plugstack.conf
  • topology.conf

slurmd服务启动时将从指定的slurmctld节点获取配置文件，slurmctld节点可以采用 --conf-server 参数准确指定或利用DNS SRV记录指定，采用 --conf-server 参数指定的优先级高于采用DNS SRV记录指定：

  • 采用 --conf-server 参数指定（默认端口6817可省略）：
    • 仅一个管理节点slurmctl-primary： slurmd --conf-server slurmctl-primary:6817
    • 一个管理节点slurmctl-primary和一个备份节点slurmctl-secondary： slurmd --conf-serverslurmctl-primary:6817,slurmctl-secondary
  • 采用DNS SRV记录：
    • _slurmctld._tcp 3600 IN SRV 10 0 6817 slurmctl-backup
    • _slurmctld._tcp 3600 IN SRV 0 0 6817 slurmctl-primary

2. 安装准备

  • 所有节点中的slurm服务应由slurm用户守护运行，且节点间的slurm用户应拥有同一uid。应使用useradd -u 命令在所有节点添加slurm用户并将相应文件的属主改为此用户
  • 节点间采用munge进行通讯认证，所有munge应使用同一个munge.key文件运行，可使用munge -n | ssh ip unmunge 验证节点间通讯是否成功
  • 为数据库节点安装mysql数据库，并创建对应的数据库，数据库用户，并授权

3. 编译安装slurm

可以采用第三方已经编译好的RPM或者DEB包，也可以在任意节点进行源码编译方式进行安装

3.1 安装依赖

安装编译Slurm时所需要的依赖性，执行一下命令

yum -y install mariadb mariadb-devel mariadb-server munge munge-libs munge-devel hwloc-libs hwloc-devel hdf5-devel pam-devel perl-ExtUtils-MakeMaker python3 readline-devel kernel-headers dbus-devel rpm-build

3.2 下载Slurm源码包

访问 https://www.schedmd.com/downloads.php 复制所需版本下载源码包链接后，执行：

wget https://download.schedmd.com/slurm/slurm-23.02.1.tar.bz2

3.3 编译RPM包

在Slurm-23.02.1.tar.bz2 文件所在的目录执行

rpmbuild -tb slurm-23.02.1.tar.bz2

成功后将在 /root/rpmbuild/RPMS/x86_64/ 目录下生成类似如下RPM文件：

slurm-23.02.1-1.el7.x86_64.rpm
slurm-libpmi-23.02.1-1.el7.x86_64.rpm
slurm-slurmctld-23.02.1-1.el7.x86_64.rpm
slurm-contribs-23.02.1-1.el7.x86_64.rpm
slurm-openlava-23.02.1-1.el7.x86_64.rpm
slurm-slurmd-23.02.1-1.el7.x86_64.rpm
slurm-devel-23.02.1-1.el7.x86_64.rpm
slurm-pam_slurm-23.02.1-1.el7.x86_64.rpm
slurm-slurmdbd-23.02.1-1.el7.x86_64.rpm
slurm-example-configs-23.02.1-1.el7.x86_64.rpm
slurm-perlapi-23.02.1-1.el7.x86_64.rpm
slurm-torque-23.02.1-1.el7.x86_64.rpm

3.4 不同节点间安装的安装包

  • 管理节点

    • slurm
    • slurm-perlapi
    • slurm-slurmctld

  • 计算节点

    • slurm
    • slurm-perlapi
    • slurm-slurmd

  • 数据库节点

    • slurm
    • slurm-slurmdbd

可以通过nfs共享或者使用配置本地yum源，或者直接使用scp将对应的安装包分发到对应的节点

4. 配置文件设置

slurm的配置配置文件主要在/etc/slurm/目录下

4.1 主配置文件

  • 主配置文件： slurm.conf

内容模板可访问 https://slurm.schedmd.com/configurator.html 填写相应信息生成，然后修改

# Cluster Name：集群名
 ClusterName=MyCluster # 集群名，任意英文和数字名字

# Control Machines：Slurmctld控制进程节点
 SlurmctldHost=admin # 启动slurmctld进程的节点名，如这里的admin
 BackupController=   # 冗余备份节点，可空着
 SlurmctldParameters=enable_configless # 采用无配置模式

 # Slurm User：Slurm用户
 SlurmUser=slurm # slurmctld启动时采用的用户名

 # Slurm Port Numbers：Slurm服务通信端口
 SlurmctldPort=6817 # Slurmctld服务端口，设为6817，如不设置，默认为6817号端口
 SlurmdPort=6818    # Slurmd服务端口，设为6818，如不设置，默认为6818号端口

 # State Preservation：状态保持
 StateSaveLocation=/var/spool/slurmctld # 存储slurmctld服务状态的目录，如有备份控制节点，则需要所有SlurmctldHost节点都能共享读写该目录
 SlurmdSpoolDir=/var/spool/slurmd # Slurmd服务所需要的目录，为各节点各自私有目录，不得多个slurmd节点共享

 ReturnToService=1 #设定当DOWN（失去响应）状态节点如何恢复服务，默认为0。
     # 0: 节点状态保持DOWN状态，只有当管理员明确使其恢复服务时才恢复
     # 1: 仅当由于无响应而将DOWN节点设置为DOWN状态时，才可以当有效配置注册后使DOWN节点恢复服务。如节点由于任何其它原因（内存不足、意外重启等）被设置为DOWN，其状态将不会自动更改。当节点的内存、GRES、CPU计数等等于或大于slurm.conf中配置的值时，该节点才注册为有效配置。
     # 2: 使用有效配置注册后，DOWN节点将可供使用。该节点可能因任何原因被设置为DOWN状态。当节点的内存、GRES、CPU计数等等于或大于slurm.conf 中配置的值，该节点才注册为有效配置。

 # Default MPI Type：默认MPI类型
 MPIDefault=None
     # MPI-PMI2: 对支持PMI2的MPI实现
     # MPI-PMIx: Exascale PMI实现
     # None: 对于大多数其它MPI，建议设置

 # Process Tracking：进程追踪，定义用于确定特定的作业所对应的进程的算法，它使用信号、杀死和记账与作业步相关联的进程
 ProctrackType=proctrack/cgroup
     # Cgroup: 采用Linux cgroup来生成作业容器并追踪进程，需要设定/etc/slurm/cgroup.conf文件
     # Cray XC: 采用Cray XC专有进程追踪
     # LinuxProc: 采用父进程
最低0.47元/天 解锁文章
ad崩了怪中路
关注
  • 31
    点赞
  • 踩
  • 30
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
slurm 调度系统搭建
weixin_45967176的博客
05-16 751
此次搭建系统版本: Centos7.9主控节点：172.16.1.45 (master)计算节点：172.16.1.21(node1)1、编译slurm安装包在编译之前，首先得在系统上安装如下安装包，系统不同可能也需要安装更多的软件包，具体可根据编译slurm包时候的依赖提示进行安装。注意：主控节点和计算节点都需要安装下载slurm安装包，当前下载的版本是slurm-21.08.8-2.tar.bz2。下载地址见下方。
信息系统安装维护手册.docx
02-26
本手册用于**系统**安装和维护。 本手册主要内容包括： - 系统软硬件环境需求 - 应用程序的安装部署 - 数据初始化和基础数据安装 - 应用相关的系统配置管理 - 系统备份和日常维护
Slurm调度管理系统详解
weixin_74939789的博客
04-28 652
Slurm（Simple Linux Utility for Resource Management）是一个广泛使用的作业调度和资源管理系统，它为HPC系统提供了灵活、高效的任务调度和资源管理功能。Slurm作为一个功能强大、灵活可配置的作业调度和资源管理系统，在HPC领域有着广泛的应用。在实际应用中，我们可以根据具体需求配置和使用Slurm，以提高HPC系统的资源利用率和作业执行效率。指令来指定作业的各种参数，如作业名称、输出文件、错误文件、分区、节点数、任务数以及运行时间等。在这个脚本中，我们使用。
slurm(一) —— 简介
hxxjxw的博客
04-23 8060
Slurm 是一个开源、容错、高可伸缩的集群管理和大型小型 Linux 集群作业调度系统。slurm不需要对操作系统内核进行修改，而是相对独立的。 在超算平台上用的很多 https://blog.mrzhenggang.com/supercomputer-courses-slurm/#%E6%9F%A5%E7%9C%8B%E5%8F%AF%E7%94%A8%E8%8A%82%E7%82%B9-yhi ...
Slurm作业调度系统基本指令
githubcurry
04-02 6007
作业运行过程中使用的可量化实体都是资源；包括硬件资源（节点、内存、CPU 、GPU等）和软件资源（ License ）
浅谈Slurm作业调度系统
热门推荐
小男孩儿的博客
03-01 1万+
1.Slurm概念 Slurm是一个开源，容错，高度可扩展的集群管理和作业调度系统，适用于大型和小型Linux集群。Slurm不需要对其操作进行内核修改，并且相对独立。作为集群工作负载管理器，Slurm有三个关键功能。首先，它在一段时间内为用户分配对资源（计算节点）的独占和/或非独占访问，以便他们可以执行工作。其次，它提供了一个框架，用于在分配的节点集上启动，执行和监视工作（通常是并行作业）。最后，它通过管理待处理工作的队列来仲裁资源争用。 .........
slurm深度解析：探索作业调度系统的架构和术语
clcaojzy的博客
12-12 3616
在高性能计算领域，作业调度系统是一个非常重要的组件，它负责管理集群的资源和作业，以提高计算效率和用户体验。本文将介绍一种流行的开源作业调度系统——slurm，它具有高度可扩展和容错的特点，已被全球多个超级计算中心和大型集群采用。本文将介绍slurm的基本概念、架构和术语，以及如何使用slurm进行作业的提交和管理。以上就是今天要讲的内容，本文简单介绍了slurm的基本概念、架构和术语，以及如何使用slurm进行作业的提交和管理。
作业调度系统概述.mp4
06-20
调度系统概述.mp4，本视频主要针对HPC或Linux并行计算用户，在集群上如何作业调度系统，提交作业等
国科大超算中心Slurm作业调度系统使用指南-slurm-userguide.pdf
08-24
中国科学院大学超算系统Slurm作业调度系统用户使用手册。 本用户使用指南主要将对Slurm作业调度系统做一基本介绍。
slurm安装心得体会,虚拟机中安装，并提交作业，以及队列用户限制
04-17
SLURM安装心得体会 SLURM（Simple Linux Utility for Resource Management）是一款开源的作业调度系统，广泛应用于高性能计算、...通过以上步骤，可以成功安装和配置SLURM集群，实现高性能的作业调度和资源管理。
ansible-role-slurm:用于安装和配置SLURM-用于资源管理的简单Linux实用程序
05-05
例如，如果我们只想在某些slurm版本中将默认设置添加到slurm.conf中，则可以通过在vars / slurm_version.yml中的版本中添加slurm_conf_version_specific_params_list来实现。依存关系 配置PAM-限制对计算节点的访问...
SLURM调度系统的进阶使用.mp4
最新发布
06-20
SLURM调度系统的进阶使用.mp4,本视频主要介绍slurm调度系统高级使用与管理，比较适合从事Linux并行计算或HPC高性能计算的用户，欢迎下载使用！！
Slurm集群使用
m0_37316673的博客
07-06 4033
常用命令： sinfo #查看服务器节点和分区 squeue -u username #查看你当前运行的任务 scontrol show job JOBID #查看指定的jobID的状态 scancel jobid #取消对应jobid任务 sbatch test.s #以批命令的方式运行test.s这个文件。 scontrol show node #显示所有node节点的硬件信息 scontrol show node node02"#查看名字为node02的节点的硬件信息 smap #以图形的方式显示
slurm集群安装部署
墨花的博客
08-09 3869
slurm集群部署，应用于超算，包括配置SSH免密登录,NFS共享文件,NIS用户管理,Openmpi并行运算，以及简单的module环境搭建
Slurm--资源管理系统
发呆的比目鱼的博客
08-01 1797
Slurm--资源管理系统
slurm安装配置_相对全面的SLURM集群的配置、安装及一些小问题的解决
weixin_34986860的博客
12-24 5597
年前做了slurm集群的安装与配置，这里写出来与大家分享一下。安装配置的时候在网上找了很多资料，发现网上的版本都比较简单，很多东西没有说清楚，这里为大家一一详细说明，希望能对需要的朋友们有所帮助。同时我如有写错的地方请大家予以纠正，谢谢！联系QQ：1192625541Slurm安装教程OS：centos7machine:master(主节点，也是计算节点),slaver1,slaver2,sla...
【slurm】如何快速入门slurm作业提交系统
wangxiancao的博客
08-11 6147
快速入门slurm
作业调度开源软件Slurm的安装与使用
Blockbuater_drug
02-08 3512
Linux作业调度开源软件Slurm的单机安装与简单使用
slurm作业调度系统使用指南
07-16
### 回答1： Slurm作业调度系统是一个用于分配和管理计算任务的开源软件。它允许用户在一个大规模的计算集群上提交、管理和监视作业。 首先，用户需要了解Slurm的基本概念。在Slurm中，一个作业是用户指定的一项计算任务，可以包括一个或多个任务。任务是作业的一个单元，可能会在不同的计算节点上执行。作业可以使用不同的资源进行调度，如CPU、内存和 GPU。用户需要清楚地定义作业的资源需求，以便Slurm可以正确地分配资源。 使用Slurm提交作业非常简单。用户只需要编写一个作业提交脚本，该脚本包含了作业的配置信息，如资源需求、输入文件、输出文件等。然后使用`sbatch`命令提交这个脚本即可。Slurm会按照其配置进行作业调度，将作业分配给相应的计算节点进行执行。 一旦作业提交后，用户可以使用`squeue`命令来跟踪作业的状态。该命令显示了作业的ID、状态、开始时间和节点信息等。用户可以根据需要使用`scancel`命令来取消作业。 Slurm还提供了一些高级功能，用于更精细地控制作业的调度和资源分配。用户可以使用`srun`命令在计算节点上启动特定的任务，并通过在作业提交脚本中设置一些参数来控制任务的执行方式。 总之，Slurm作业调度系统是一个强大且灵活的工具，可以帮助用户有效地管理和调度计算任务。通过了解基本概念和使用指南，用户可以更好地使用Slurm来利用集群资源进行高性能计算。 ### 回答2： Slurm作业调度系统是一个开源的、高效的集群管理和作业调度工具。它被广泛用于大规模计算集群和超级计算机系统。以下是使用Slurm的一些指南： 1. 提交作业：通过使用sbatch命令，可以向Slurm系统提交作业。作业通常是一个可执行的程序或脚本。可以使用sbatch命令指定作业的名称、资源需求、作业优先级等。 2. 查看作业状态：可以使用squeue命令查看当前正在运行的作业以及等待运行的作业和队列中的作业。squeue命令可以提供作业的ID、状态、用户等信息。 3. 取消作业：如果需要取消一个已经提交的作业，可以使用scancel命令。需要提供作业的ID来取消作业。 4. 调整作业优先级：使用sprio命令可以调整作业的优先级。较高优先级的作业将更早地得到处理。可以根据需求调整作业的优先级。 5. 资源管理：Slurm可以有效地分配集群的资源给不同的作业。可以使用scontrol命令设置和管理资源分配策略。可以向Slurm系统添加、删除或修改节点。 6. 队列管理：使用squeue和scontrol命令可以管理队列。可以创建、暂停、恢复、删除队列。可以根据不同的作业需求和优先级配置不同的队列。 7. 使用预定义脚本：Slurm提供了一些预定义的脚本，可以用于常见的作业操作，比如提交作业、取消作业等。可以根据需要进行修改和使用这些脚本。 8. 集群监控：Slurm提供一些工具来监控集群的状态和性能。可以使用sinfo命令查看集群中的节点状态和资源使用情况。可以使用sacct命令查看作业的执行情况和资源使用情况。 总之，Slurm作业调度系统是一个功能强大的集群管理工具，可以帮助用户高效地管理和调度作业。通过使用上述指南，用户可以更好地了解和使用Slurm系统。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值