Slurm超算集群跑深度学习代码教程

已于 2023-04-17 18:48:03 修改
阅读量5k 收藏 39
点赞数 5
分类专栏： GAN pytorch pytorch框架 文章标签： 深度学习 人工智能
于 2022-06-01 15:21:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43723625/article/details/125060527
版权
GAN 同时被 3 个专栏收录
20 篇文章 3 订阅
订阅专栏
pytorch
12 篇文章 1 订阅
订阅专栏
pytorch框架
12 篇文章 2 订阅
订阅专栏

参考教程
http://docs.hpc.whu.edu.cn/

  1. 登录武汉大学信息门户，在办事大厅的搜索栏进行搜索，然后按照指示进行VPN和超算中心的账号申请。超算中心的用户名和密码在武汉大学超算中心申请成功后，会发到指定邮箱。
    在这里插入图片描述
  2. 超算学生账户关联主账户申请
    在这里插入图片描述

如果是校外操作，则需要通过easyconnect登陆集群专属VPN
https://vpn.whu.edu.cn/

1.连接超算

使用支持 SSH 协议的客户端软件MobaXterm来登录超算
https://mobaxterm.mobatek.net/

方法一. 密码登录：使用 SSH 客户端连接超算的登录节点 swarm.whu.edu.cn（202.114.96.180）
在这里插入图片描述
方法二. 秘钥id_rsa文件登录
在这里插入图片描述

用户存储与数据传输

在这里插入图片描述

/bin/myDiskQuota

在这里插入图片描述

文件传输（SFTP 协议）

服务器IP地址： 202.114.96.180 or 202.114.96.177
在这里插入图片描述
方法二. 秘钥id_rsa文件登录
在这里插入图片描述

anaconda安装

https://repo.anaconda.com/archive/

  1. 通过wget从官网下载相关版本到根目录下
    wget https://repo.anaconda.com/archive/Anaconda3-2020.07-Linux-x86_64.sh
    在这里插入图片描述
  2. 执行命令：bash Anaconda3-2020.07-Linux-x86_64.sh安装
    在这里插入图片描述

注意：这里指定新的路劲，是由于默认的路径存储空间不够导致安装失败

  1. 选择yes添加环境变量
    在这里插入图片描述

  2. 修改 ~/.bashrc文件

  • 打开bashrc文件：vim ~/.bashrc
  • 输入 i 进入插入状态，可在最后加入：export PATH='anaconda的安装目录/bin:$PATH'
  • “ESC”退出编辑模式， 输入：wq保存退出；
  • 执行命令：source ~/.bashrc 让修改生效

输入命令行source /home/xxx/.bashrc，xxx为用户账号名称。这样就完成了anaconda3的配置。

  1. 输入conda -V验证是否安装成功
    在这里插入图片描述

创建虚拟环境

通过conda create -n 环境名字 python=3.7创建一个虚拟环境

conda activate 环境名字
conda deactivate 环境名字

pip install torch==1.6.0+cu101 torchvision==0.7.0+cu101 -f https://download.pytorch.org/whl/torch_stable.html

Slurm系统下的作业调度管理

https://blog.csdn.net/lovebaby1689/article/details/123208698

作业脚本基本结构
在这里插入图片描述
作业脚本
在这里插入图片描述

–account
付费账号关联，用户使用收费分区时，需要关联付费账号，在作业脚本里加入

#SBATCH --account=supervisor

请将 supervisor 替换为导师的账号名

–partition
超算上不同类型的计算资源，以分区的形式组织

  • 免费用户使用的 CPU 集群，分区命名 hpxg
  • 付费用户使用的 CPU 集群，分区命名 hpib
  • Intel Knight Landing 7250 集群，分区命名 knl
  • Nvidia Tesla V100 集群，分区命名 gpu

指定使用哪个分区，在作业脚本里加入

#SBATCH --partition=gpu

–nodes
申请计算节点的数量，在作业脚本里加入

#SBATCH --nodes=X

其中 X 是数量，需要的计算节点的个数

–ntasks-per-node
控制每个计算节点上运行 task 的数量，一般与 --nodes 配合使用，例如

MPI 程序需要 3 个计算节点，每节点 4 个进程，一共 12 个 task，对应 12 个 cpu 核

#SBATCH --nodes=3
#SBATCH --ntasks-per-node=4

还可以与 --cpus-per-task 选项配合使用，例如

MPI 程序需要 1个计算节点，每节点 2 个进程，每个进程使用 OpenMP 运行 8 个线程，一共16 个 cpu 核

#SBATCH --nodes=1
#SBATCH --ntasks-per-node=2
#SBATCH --cpus-per-task=8

–cpus-per-task
单个 task 需要的 cpu 核数。一个 task 进程可以多线程，需要使用多个 cpu 核。此选项 Slurm 系统会保证一个 task 进程所在的计算节点上有指定数量的 cpu 核可用。

例如，每个计算节点有 4 个 cpu 核，一个计算作业需要 24 个 cpu 核

  • 直接声明 24 个 task，Slurm 系统将分配 6 个计算节点
  • 指定 --cpus-per-task=3，Slurm 系统将分配 8个计算节点，确保一个 task 需要的 3 个 cpu 核是在同一个节点上

如果不设置此选项，Slurm 系统默认值是 1，即默认一个 task 分配一个 cpu 核

–gres
申请每计算节点上 GPU 资源的数量，在作业脚本里加入

#SBATCH --gres=gpu:X

其中 X 是数量，目前 gpu 分区每计算节点有 4 张 Nvidia Tesla V100，因此 X 不超过 4

提交作业
将脚本跟 mycode.py 放在同一个目录下，然后运行以下命令提交作业

sbatch myjob.sh
在这里插入图片描述

sbatch 命令把作业脚本提交给 Slurm 系统，获得一个 JobID 作业编号，并显示给用户

作业编号 JobID 是一个正整数数字。

Slurm 系统将根据作业脚本选项所列出的计算资源申请需求，结合当前可用的资源现状，给计算任务排队、分配资源、启动计算程序、输出各种中间过程信息、计算结束后回收计算资源。

作业管理

squeue命令查看作业状态信息
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
如何查看导师(付费)账号下资源及使用情况`
在登录节点执行命令 accountInfos + 导师(付费)账号

分配资源后查看显卡运行状况

ssh g0109
在这里插入图片描述

退出SSH,通过命令

logout

导师(付费)账号为xinming的查询方法

accountInfos xinming

作业脚本选项

日志 log 输出控制
作业脚本的标准输出和标准错误默认保存到同一个日志文件，名为

slurm-%j.out # %j 是作业编号
在这里插入图片描述

要改变标准输出，在作业脚本里加入

#SBATCH --output=filename.out

代码小白的成长
关注
  • 5
    点赞
  • 踩
  • 39
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
slurm运行GPU显卡相关参数设定
荣合技术外包服务
05-23 289
srun -p gpuq --gres=gpu:1 nvidia-smi 就会出现获取到的GPU信息，以NVIDIA-SMI形式显示。在slurm的节点分区上可以设定GPU及普通节点分别为2个分区。如将以上参数中的GPU:1改为GPU:2就会获取2张GPU资源。比如：debug为普通分区，gpuq为GPU节点计算分区。示例：获取一张GPU，
Slurm集群调度策略详解（1）-主调度
h_m_l的博客
11-10 3988
Slurm调度系统中针对作业的调度主要有三种，主调度，回填调度，GANG调度，这篇文章主要针对主调度进行解析。
Slurm集群使用基础
最新发布
Asa12138的博客
05-29 1411
我们在做生物信息分析时，对于大规模的上游数据的处理，一般需要在大型服务器或集群上进行。我最早接触并使用的是一个基于SLURM调度系统的集群，在此记录一下基础使用方法。
基于slurm框架的GPU服务器集群搭建方法
weixin_45906434的博客
01-11 3951
管理结点： 1个 （192.168.76.130）hostname: master。计算节点： 1个 （192.168.76.131）hostname: slave1。注：uid和gid可以根据情况自行确定，但要保证集群中的各结点uid和gid一致。修改/etc/slurm/slurmdbd.conf。修改/etc/slurm/slurm.conf。配置master机hostname。配置slave1机hostname。通过scp发动到各个计算节点。系统环境： Centos7。查看hostname。
centos下如何安装部署slurm集群
小男孩儿的博客
04-19 1637
前面在中我们对Slurm调度系统进行了简单的概述，在此，将重点介绍在centos下如何安装部署Slurm集群。
Slurm 20.02.3 集群添加gpu节点 No. 2-1
xuecangqiuye的博客
07-26 6330
placeholder
LLM-分布式训练工具（一）：DeepSpeed【微软】【大模型分布式训练工具，实现ZeRO并行训练算法】【zero3配置将模型参数切分后分配到不同的显卡中，突破单张显卡容量不足以加载模型参数的限制】
u013250861的博客
06-10 7175
DeepSpeed是微软推出的大规模模型分布式训练的工具，主要实现了ZeRO并行训练算法。本文是huggingface的DeepSpeed文档的笔记，做查询和备忘，初次学习建议结合原始文档食用。
超算+集群+slurm+手册
01-04
《超算+集群+slurm+手册》是针对在Linux环境下使用集群进行资源管理和作业调度的专业指南，尤其适合需要高效管理大规模计算任务的用户。Slurm（Simple Linux Utility for Resource Management）是一个开源的作业调度...
slurm集群搭建包.zip
08-11
slurm 集群搭建所需的镜像
matlab有些代码不运行-Gatsby-Cluster-Tutorial:使用SLURM向Gatsby集群提交作业的教程
05-23
matlab有些代码不运行这是使用SLURM向Gatsby集群提交作业的教程 如何向Gatsby集群提交作业 Gatsby集群实质上是一堆连接在网络中的计算机（称为“节点”）。 这很有用，因为例如当您需要运行许多模拟时，您可以在集群...
slurm_gpustat:一个简单的命令行工具，用于显示SLURM集群上的GPU使用情况
05-02
slurm_gpustat slurm_gpustat是一个简单的命令行实用程序，可汇总在slurm群集上使用GPU。 该工具可以通过两种方式使用： 查询集群上GPU的当前使用情况。 启动一个守护程序，该守护程序将记录一段时间内的使用情况。 以后可以查询此日志以提供使用情况统计信息。 安装 通过pip install slurm_gpustat 。 如果您喜欢破解源代码，那么它是一个。 用法 要打印当前活动的摘要： slurm_gpustat 要在特定分区上打印当前活动的摘要，例如debug ＆ normal ： slurm_gpustat -p debug,normal或slurm_gpustat --partition debug,normal 要启动日志记录dameon： slurm_gpustat --action daemon-start 要查看已记录数据的摘要
高性能计算集群系统，SLURM集群管理系统基本的组件以及使用方法打、命令参数以及SLURM脚本的编写方法
04-16
SLURM（Simple Linux Utility for Resource Management）是一种广泛用于高性能计算集群系统的资源管理和调度工具。它提供了高效、灵活的管理机制，确保计算资源得到最佳利用。以下是对SLURM集群管理系统的基本组件、...
CESM2 运行笔记——小白手把手
creative_peng的博客
06-30 7396
# PORT input data PORT的输入数据 offline_driver_infile = '/path/base_run_case.cam.h1.0001-01-01-00000.nc' # Output the radiation data 输出辐射数据 rad_data_output=.true. # Specify the radiation data be written to history file number 2 (rad_data will be in file
华中科技大学云超算平台Jupyterlab深度学习使用学习记录
qq_43530590的博客
12-24 1207
华中科技大学高性能计算公共服务平台，请先阅读平台帮助文档了解结构及功能。
用超算平台跑深度学习模型【新用户赠送200元体验金】
qq_43313298的博客
05-08 2224
最近在训练YOLO模型，奈何自己的笔记本跑不起来，通过朋友介绍，才了解到北鲲云——一站式超算平台，跑深度模型真的很nice，最重要的是新用户免费赠送200元的体验金，赠送活动是有截止日期的，建议尽快领取方便后面使用。
服务器跑深度学习常用方法总结
weixin_70379932的博客
08-22 478
只需改后面三行代码就行，前面可以直接套用，具体每个代码什么意思就不赘述了。优点：会把每次输出生成一个.out文件方便后期结果查阅保存。缺点：输出没有保存到文件里，如果输出很多不易查看。缺点：不够简介，需要写.slurm文件。以上就是常用的两种操作。2.采用终端指令运行。
Slurm开发入门介绍
h_m_l的博客
06-22 2222
目录 1.形势分析 1.1.我国新基建战略与先进计算产业 1.2数据中心/云计算中心/超算中心的核心部件以X86服务器为主 1.3 大国在HPC领域的较量 2.1.调度技术一览 2.2 Slurm 2.2.2.Slurm的关键功能 2.3.应用 2.3.1超算应用 2.3.2应用范式 2.4.资源 2.4.1.集群 2.4.2.计算 2.4.3.网络 2.4.4.存储 1.形势分析 1.1.我国新基建战略与先进计算产业 1.2.数据中心/云计算中心/超算中..
slurm集群执行作业出现RuntimeError: No CUDA GPUs are available、CUDA_LAUNCH_BLOCKING=1等问题。
Ryan0828的博客
03-06 1412
解决了linux集群利用slurm工具在初期跑torch代码遇到的gpu不可用相关问题。
slurm集群部署教程
05-24
Slurm 是一个开源的高性能计算集群管理系统，用于在大规模计算环境中调度、管理和监控作业。下面是一些关于如何部署 Slurm 集群的基本教程： ## 1. 安装 Slurm 首先，需要在所有计算节点和管理节点上安装 Slurm。可以通过源代码或二进制软件包进行安装。 ### 安装依赖 在安装 Slurm 之前，需要安装一些依赖，包括 Munge、OpenSSL、PAM、Numactl、MySQL 或 MariaDB、Python 等。可以通过以下命令安装这些依赖： ``` sudo apt-get update sudo apt-get install munge libmunge-dev openssl libssl-dev libpam0g-dev numactl \ mariadb-server libmysqlclient-dev python3-dev python3-pip ``` ### 安装 Slurm 可以从官方网站下载最新版本的 Slurm 源代码：https://www.schedmd.com/downloads.php。然后将源代码解压缩并进行编译和安装。 ``` tar xzf slurm-20.11.7.tar.gz cd slurm-20.11.7 ./configure --prefix=/usr/local make sudo make install ``` ## 2. 配置 Slurm 在安装完 Slurm 后，需要配置集群。主要包括以下步骤： ### 配置 Munge Slurm 需要 Munge 来进行身份验证和加密。需要在所有节点上安装 Munge，并生成一个共享密钥。 ``` sudo apt-get install munge sudo systemctl enable munge sudo systemctl start munge sudo /usr/sbin/munged --force sudo dd if=/dev/random bs=1 count=1024 >/etc/munge/munge.key sudo chmod 400 /etc/munge/munge.key sudo chown munge:munge /etc/munge/munge.key ``` 将生成的密钥复制到所有节点上。 ### 配置 Slurm 配置文件 Slurm 的配置文件为 `/usr/local/etc/slurm.conf`。可以使用以下命令创建一个基本的配置文件： ``` sudo mkdir -p /etc/slurm-llnl sudo cp /usr/local/etc/slurm.conf.example /etc/slurm-llnl/slurm.conf ``` 然后，编辑配置文件并根据需要进行更改。以下是一些常用的配置项： ``` ControlMachine=<管理节点IP地址> MpiDefault=none SlurmUser=<Slurm用户> SlurmdUser=<slurmd用户> AuthType=auth/munge CryptoType=crypto/munge ``` ### 配置 slurmdbd slurmdbd 是一个用于将作业信息和节点状态存储在数据库中的守护进程。需要在管理节点上安装 MySQL 或 MariaDB，并创建一个数据库和一个用户。 ``` sudo apt-get install mariadb-server libmysqlclient-dev sudo systemctl enable mariadb sudo systemctl start mariadb sudo mysql_secure_installation sudo mysql -u root -p ``` 在 MySQL 命令行界面上，输入以下命令来创建数据库和用户： ``` CREATE DATABASE slurm_acct_db; GRANT ALL ON slurm_acct_db.* TO 'slurm'@'localhost' IDENTIFIED BY 'password'; FLUSH PRIVILEGES; ``` 然后，编辑 `/etc/slurm-llnl/slurmdbd.conf` 文件，并根据需要进行更改。以下是一些常用的配置项： ``` DbdAddr=<管理节点IP地址> DbdHost=<管理节点主机名> StorageType=accounting_storage/mysql DbdUser=<MySQL用户名> DbdPass=<MySQL用户密码> DbName=slurm_acct_db ``` ### 配置节点 在每个计算节点上，需要编辑 `/etc/slurm-llnl/slurmd.conf` 文件，并根据需要进行更改。以下是一些常用的配置项： ``` ControlMachine=<管理节点IP地址> AuthType=auth/munge CryptoType=crypto/munge ``` 然后，启动 `slurmd` 守护进程： ``` sudo systemctl enable slurmd sudo systemctl start slurmd ``` ## 3. 启动 Slurm 在完成所有配置后，可以启动 Slurm。首先，需要启动 `slurmdbd` 守护进程： ``` sudo systemctl enable slurmdbd sudo systemctl start slurmdbd ``` 然后，在管理节点上启动 `slurmctld` 守护进程： ``` sudo systemctl enable slurmctld sudo systemctl start slurmctld ``` ## 4. 测试 Slurm 可以使用以下命令测试 Slurm 是否正常工作： ``` srun -N <节点数> -n <任务数> hostname ``` 例如： ``` srun -N 2 -n 4 hostname ``` 运行此命令后，应该会在终端上看到所有节点的主机名。如果一切正常，则表示 Slurm 已经正确安装和配置。 以上是一个基本的 Slurm 集群部署教程，如果需要更高级的配置和管理，请参考 Slurm 官方文档。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

代码小白的成长

计算机网络PPT下载

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值