Slurm重启后Drain以及运用update出现invalid user id

于 2024-02-19 15:10:17 发布
阅读量1k 收藏 8
点赞数 7
分类专栏： Slurm命令 文章标签： linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44933752/article/details/136170702
版权

Slurm重启后Drain以及运用update出现slurm_update error: Invalid user id

问题描述

提交文件时出现这样的问题，显示目前集群在排队
在这里插入图片描述

查看目前集群状态

sinfo

在这里插入图片描述

可见此时state是drain，一般让这个State异常注水占用的原因是重启导致的

解决方案

如果直接scontrol update会报错
在这里插入图片描述

要先切换一下root权限才可以update state
RESUME设置适合有正在跑任务的情况

sudo su
scontrol update NodeName=xulab-7920-Tower State=RESUME

接着查看集群状态是否恢复

sinfo

在这里插入图片描述

查看状态转换为idle，再将用户切换为子用户即可使用

lowland12138
关注
  • 7
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
SLURM 节点状态总是drained问题
kongxx的专栏
09-03 2万+
问题描述新装的 SLURM 集群在运行了一些作业并修改一些配置项目以后，用sinfo查看信息的时候看到部分节点状态总是 drained ，但是在这个节点上并没有作业在运行，重启 slurm 服务问题依旧，如下$ sinfoPARTITION AVAIL TIMELIMIT NODES STATE NODELIST debug* up infinite 1 drain
slurm节点,分区,作业信息说明
u010797364的博客
10-12 1万+
节点状态查看 命令： sinfo 说明： PARRITION：节点所在分区 AVAIL：分区状态，up 标识可用，down 标识不可用 TIMELIMIT：程序运行最大时长，infinite 表示不限制，如果限制格式为 days-houres:minutes:seconds NODES：节点数 NODELIST：节点名列表 STATE：节点状态，可能的状态包括： allocated、alloc ：已分配 completing、comp：完成中 down：宕机 drained、drain：已失去活力 f
slurm节点不可用
jack_magpie的博客
01-31 4388
两种slurm节点不可用情况的修复
【Slurm】Slurm使用故障&workaround记录
onlyellow的博客
03-14 1556
state直接重置为IDLE也行。看网络文章区别在于，如果有job在该node上运行，建议用RESUME;如果没有job运行可以用IDLE。什么原因导致的还不清楚。
sbatch: error: Batch job submission failed: Invalid user id
小男孩儿的博客
08-13 5697
这是因为提交作业时用户名不对。切换到普通用户提交即可。
拥抱高性能计算：将Slurm集成为K8s调度程序
最新发布
h_m_l的博客
11-27 3349
SUNK是一个开源项目（将于 2024 年初发布），它将 Kubernetes 容器化部署和 GitOps 引入 Slurm，并将 Slurm 调度程序插件集成到 Kubernetes。本质上，SUNK 将 Slurm 集成为 Kubernetes 调度程序，并允许 Slurm 作业在 Kubernetes 内运行。这创造了更加无缝的体验，在同一中央平台上支持爆发式和批量工作负载，并允许开发人员利用 Kubernetes 上的 SLURM 资源管理。
slurm在ubuntu上的搭建
04-07
### Slurm 在 Ubuntu 上的搭建详解 #### 一、前言 SLURM (Simple Linux Utility for Resource Management) 是一种广泛应用于高性能计算集群中的作业调度系统。本文将详细介绍如何在 Ubuntu 系统上搭建 SLURM 集群，...
slurm安装心得体会,虚拟机中安装，并提交作业，以及队列用户限制
04-17
SLURM安装心得体会 SLURM（Simple Linux Utility for Resource Management）是一款开源的作业调度系统，广泛应用于高性能计算、云计算和大数据等领域。本文将详细介绍SLURM的安装过程，包括环境准备、MUNGE安装、...
pyslurm:Slurm 的 Python 接口
08-04
PySlurm：Python 的 Slurm 接口 概述 目前 PySlurm 正在开发中，以从它在 Slurm C API 之上的薄层移动到面向对象的接口。 此版本基于 Slurm 20.02。 先决条件 这个 PySlurm 分支已经过测试： Cython 0.19.2，以及...
slurm集群搭建包.zip
08-11
slurm 集群搭建所需的镜像
高性能计算集群系统，SLURM集群管理系统基本的组件以及使用方法打、命令参数以及SLURM脚本的编写方法
04-16
SLURM（Simple Linux Utility for Resource Management）是一种广泛用于高性能计算集群系统的资源管理和调度工具。它提供了高效、灵活的管理机制，确保计算资源得到最佳利用。以下是对SLURM集群管理系统的基本组件、...
Slurm作业调度系统基本指令
githubcurry
04-02 6156
作业运行过程中使用的可量化实体都是资源；包括硬件资源（节点、内存、CPU 、GPU等）和软件资源（ License ）
CentOS7安装部署Slurm集群详细步骤及常见的问题.
u010797364的博客
08-26 1万+
Slurm 分布式集群安装部署步骤。
安装slurm与重启slurm
amao992的专栏
11-30 7727
1. 先安装openssl和munge  2. install Install(caoj7) ./configure --prefix=/usr/local --sysconfdir=/usr/local/etc --enable-debug make sudomake install 2. Slurm.conf (If revised, slurmctld andslu
srun: error: Invalid --exclusive specification
qq_38963393的博客
06-02 412
slurm
常用Slurm作业投递及查询命令
热门推荐
XIAOFEI@IDO
11-18 1万+
1. 集群常用概念 job step： 作业步，单个作业可以有多个作业步 partition：分区，作业需要在特定分区中运行（理解为定义了队列，每个队列中包含不同节点） QOS：服务质量，可理解为用户可使用的CPU，内存等资源限制 tasks：任务数，默认一个任务使用一个cpu核，可理解为job所需的cpu核数 socket：cpu插槽，即物理cpu颗数 2. Slurm 基本命令 salloc：为实时处理的作业分配资源 典型场景为分配资源并启动一个shell，然 后用此shell执行srun命令去执行并
slurm相关
yang_daxia的博客
04-01 758
sinfo 查看集群状态 drain(节点故障)，alloc(节点在用)，idle(节点可用)，down(节点下线)，mix(节点部分占用，但仍有剩余资源）。 squeue squeue 查看作业信息 作业状态包括R(正在运行)，PD(正在排队)，CG(即将完成)，CD(已完成)。 srun 参考：https://docs.hpc.sjtu.edu.cn/job/slurm.html#sinfo ...
slurm使用入门
onion_rain的博客
07-02 2713
简介 SLURM （Simple Linux Utility for Resource Management） 一种可用于大型计算节点集群的高度可伸缩和容错的集群管理器和作业调度系统 命令 查询分区和节点的状态： (base) xueruini@nico4:~$ sinfo PARTITION AVAIL TIMELIMIT NODES STATE NODELIST V100* up 1-00:00:00 2 alloc nico[1-2] Hyb up 1
slurm随笔
byplane的博客
06-29 3937
资源分配 节点状态 （scontrol show node ..） UNKNOWN  未知 ALLOCATED 已分配 DOWN 故障 IDLE 空闲 DRAIN 不再分配 COMPLETING 有作业完成，正在退出 NO_RESPOND 无响应 分区状态 UP/DOWN 作业状态 PENDING 排队 PD RUNNING 运行 R SUSPENDE
在slurm 中, 使用sacctmgr 修改user 所在partition . 举例说明
06-08
好的，我来举个例子。 假设你想将用户"bob"所在的partition从"default"修改为"gpu"，那么你可以使用以下命令： ``` sacctmgr modify user where name=bob set account=gpu ``` 其中，"modify user"表示修改用户信息，"where name=bob"表示指定要修改的用户为"bob"，"set account=gpu"表示将该用户所在的partition修改为"gpu"。 需要注意的是，修改用户所在partition需要具有管理员权限。如果你没有管理员权限，那么需要向系统管理员申请权限或者让系统管理员进行修改。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值