公共集群申请GPU

原创 已于 2022-12-07 17:27:47 修改 · 1.7k 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #linux #开发语言

于 2022-12-01 12:19:28 首次发布

文章目录

本文以自己学院的新集群申请GPU为例
不同的集群申请方式可能不同
学院有2个集群，旧集群与这个新集群略有区别

一、脚本文件模板

以下是自己总结的脚本文件模板，关键代码已经给出了注释，可以直接使用。
后续的内容是一个例子，可以不看。

#! /bin/bash
### 表 示 这 是 一 个bash脚 本

#SBATCH --job-name="define_name"
### 设置该作业的作业名
#SBATCH --output=tGpu02_out.%j.out
#SBATCH --error=tGpu02_err.%j.err

#SBATCH --nodes=1
### 指 定 该 作 业 需 要1个节点 数,目前学院集群gpu只有1个节点，设置过多节点会报错

#SBATCH --ntasks-per-node=32
### 每个节点所运行的进程数为32,经过测试，大于32个进程数会报错

#SBATCH --partition=gpu
#SBATCH --gres=gpu:1
###SBATCH --gpus=1
###2、3含义相同，都是指定gpu数量，选其中1个即可
###1、2这两条必须全部都有，先指定分区，再指定gpu数量，如果缺少一个会报错，单节点最大申请1个GPU

#SBATCH --nodelist=gpu1
###指定用哪个nodelist，即GPU，但由于目前集群只有1个GPU，所以不指定也可以

###时间、扣费 可省
###SBATCH --time=2:00:00
### 作 业 最 大 的 运 行 时 间 ， 超 过 时 间 后 作 业 资 源 会 被SLURM回 收
###SBATCH --comment project_name
### 指 定 从 哪 个 项 目 扣 费 。 如 果 没 有 这 条 参 数 ， 则 从 个 人 账 户 扣 费

source ~/.bashrc
###这句话不能省，用来申请GPU，否则申请不到
###该命令非常非常的重要
###该命令非常非常的重要

nvidia-smi
which nvidia-smi
nvidia-smi
### 程 序 的 执 行 命 令
###source activate pytorch01
###python python.py

二、节点的参数

输入sinfo，查看学院公共集群可用节点

[jessy@workstation testpy]$ sinfo
PARTITION AVAIL  TIMELIMIT  NODES  STATE NODELIST
cpu*         up   infinite      1    mix cpu1
gpu          up   infinite      1   idle gpu1

三、申请步骤

1、创建.sh脚本文件

[jessy@workstation ~]$ mkdir gpu_use
[jessy@workstation ~]$ cd gpu_use/
[jessy@workstation gpu_use]$ vi gpu.sh

在 gpu.sh文件中，将刚刚模板中的文件粘贴到sh中，
略作修改：修改了名字，以及把最下方的命令注释去掉，即改为：

#! /bin/bash
### 表 示 这 是 一 个bash脚 本

#SBATCH --job-name="gpu"
### 设置该作业的作业名
#SBATCH --output=gpu_out.%j.out
#SBATCH --error=gpu_err.%j.err

#SBATCH --nodes=1
### 指 定 该 作 业 需 要1个节点 数,目前学院集群gpu只有1个节点，设置过多节点会报错

#SBATCH --ntasks-per-node=32
### 每个节点所运行的进程数为32,经过测试，大于32个进程数会报错

#SBATCH --partition=gpu
#SBATCH --gres=gpu:1
###SBATCH --gpus=1
###2、3含义相同，都是指定gpu数量，选其中1个即可
###1、2这两条必须全部都有，先指定分区，再指定gpu数量，如果缺少一个会报错，单节点最大申请1个GPU

#SBATCH --nodelist=gpu1
###指定用哪个nodelist，即GPU，但由于目前集群只有1个GPU，所以不指定也可以

###时间、扣费 可省
###SBATCH --time=2:00:00
### 作 业 最 大 的 运 行 时 间 ， 超 过 时 间 后 作 业 资 源 会 被SLURM回 收
###SBATCH --comment project_name
### 指 定 从 哪 个 项 目 扣 费 。 如 果 没 有 这 条 参 数 ， 则 从 个 人 账 户 扣 费

source ~/.bashrc
###这句话不能省，用来申请GPU，否则申请不到
###该命令非常非常的重要
###该命令非常非常的重要

nvidia-smi
which nvidia-smi
nvidia-smi
### 程 序 的 执 行 命 令
source activate pytorch01
python python.py

因为即要激活环境，并且运行python文件
我们创建并编辑这个python文件

[jessy@workstation gpu_use]$ vi python.py


import torch

print("hello world!")
print(torch.cuda.is_available())
print(torch.cuda.get_device_name(0))

2、提交作业

看一下文件夹下面的文件，并且提交

[jessy@workstation gpu_use]$ ls
gpu.sh  python.py
[jessy@workstation gpu_use]$ sbatch gpu.sh 
Submitted batch job 567
[jessy@workstation gpu_use]$ squeue
             JOBID PARTITION     NAME     USER ST       TIME  NODES NODELIST(REASON)
               491       cpu     bash  y202663  R 2-18:46:16      1 cpu1
               567       gpu      gpu    jessy  R       0:02      1 gpu1
[jessy@workstation gpu_use]$

3、查看作业结果

[jessy@workstation gpu_use]$ ls
gpu_err.567.err  gpu_out.567.out  gpu.sh  python.py
[jessy@workstation gpu_use]$ cat gpu_out.567.out 
Thu Dec  1 12:16:32 2022       
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 460.91.03    Driver Version: 460.91.03    CUDA Version: 11.2     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  GeForce RTX 308...  Off  | 00000000:1A:00.0 Off |                  N/A |
| 30%   32C    P8    20W / 350W |      0MiB / 12053MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
                                                                               
+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|  No running processes found                                                 |
+-----------------------------------------------------------------------------+
/usr/local/nvidia/bin/nvidia-smi
Thu Dec  1 12:16:32 2022       
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 460.91.03    Driver Version: 460.91.03    CUDA Version: 11.2     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  GeForce RTX 308...  Off  | 00000000:1A:00.0 Off |                  N/A |
| 30%   32C    P8    20W / 350W |      0MiB / 12053MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
                                                                               
+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|  No running processes found                                                 |
+-----------------------------------------------------------------------------+
hello world!
True
GeForce RTX 3080 Ti
[jessy@workstation gpu_use]$ cat gpu_err.567.err 
[jessy@workstation gpu_use]$

可以看到，GPU申请成功,并且激活了pytorch环境，测试了gpu

超算上传作业步骤
qq_40636667的博客
09-13 7865
bin/bash 等指定该脚本的解释程序，/bin/bash 可以变为/bin/sh、R（Runing）状态（parajobs 命令查看作业状态）后即开始执行run.sh脚本中的。默认，标准输出和标准出错都定向到同一个文件slurm-%j.out，“%j”将被作。sbatch 提交一个批处理作业脚本到Slurm。递给sbatch，如没有指定文件名，则sbatch 从标准输入中获取脚本内容。• 在可执行命令之前的每行“#SBATCH”前缀后跟的参数作为作业调度系统参。查看已创建过的conda 环境。
深度学习福利 免费GPU服务器算力资源开放申请！
AI扑社
07-07 2943
羊毛来了，薅起来 我们决定开放算力申请权限，没什么门槛，自己申请一下就拿到了，我寻思着免费让你使用 100 小时 Tesla T4 （或者GeForce RTX 2080 Ti）GPU 这种事情，真的是天上掉馅饼吧。 此外，如果你的实力在 Kaggle 里离拿奖金只是一步之遥，那么可以和我们联系我们会赞助你比赛（国内外知名赛事皆可）所需要的GPU资源。 平台目前提供的数据集： 20bn-jester-v1coco2017kitti2015scene-flow-evaluationMapil.
【人工智能】实验室GPU资源申请使用
愿青春不负梦想
10-17 1327
pytorch241 为环境名，自己随便取，python 版本根据要安装的pytorch要求指定。为显卡支持CUDA最高版本，也就是说过会安装pytorch的时候，cuda版本不能超过这个。salloc 将会分配一个cpu，该语句执行后将会返回cpu编号，我申请返回。接下来就可以在GPU节点安装anaconda、pytorch GPU等。：表示申请的要申请的分区为gpu-rtx3080ti。申请成功会返回GPU编号，我申请到的GPU编号为。如果显示下面图图片，说明显卡安装没问题，右上角。
GPU集群使用
Arbicoral的博客
11-28 2069
在GPU集群中，会有不同级别的用户，huge(最高级用户)、large(高级用户)、normal(普通用户)，用户的级别不同，权限也不同。
GPU集群平台使用
weixin_46720482的博客
05-30 1561
一、登录的IP地址、端口 用户名和密码由管理员在每个课题组分配一个。（等老师通知，用户手册后面群发） 二、Conda环境配置和激活 通用包管理，该集群平台有Conda，但是最好在自己的Home目录装Conda（训练好的代码方便打包带走），注意用的时候激活环境。 三、Slurm调度系统 概念：集群、节点、队列（分区）。 机制：作业先交给调度器再分配给服务器计算。 注意： 一块卡一般一个GPU；一般情况下一个人占用一块卡，如果有特殊情况向管理员申请； 所有的GPU只能供几个人同时...
集群常用命令
z_m_zzmz的博客
04-20 779
查看文件大小 ls -lh 查看GPU使用 nvidia-smi
学院集群安装pytorch环境
qq_43718758的博客
11-29 1704
在学院集群配置pytorch环境
GPU 调度策略架构与CUDA运行机制（二）
生活需要深度
07-15 5763
说到GPU估计大家都不陌生，但是提起gpu底层的一些架构以及硬件层一些调度策略的话估计大部分人就很难说的上熟悉了。当然这个不是大家的错，主要是因为Nv gpu的整个生态都是闭源的，所以大家了解起来就会有一些障碍。最近这半年笔者有幸参与了一些gpu的项目，在这个过程当中也花了一些时间去理了一下gpu相关的东西，故借这篇文章给大家简单介绍一下。下面的行文将基于以下三个层面进行阐述：CUDA编程模型GPU 底层硬件架构硬件层的调度策略gpu上的其他细节还有很多，笔者这篇文章就当作抛砖引玉了。
创建配备GPU驱动的GPU云主机（Linux）
2401_89173864的博客
12-04 979
本文为您介绍创建Linux操作系统的GPU计算加速型云主机时，自动安装GPU驱动的详细操作指导。目前仅部分资源池支持该功能，若目标资源池不支持该功能，请参见。设置网络，包括“虚拟私有云”、“安全组”、“网卡”等信息。，手动安装GPU驱动。
Azure机器学习——动手实验02：使用云上GPU资源训练一个图像分类模型
liyuan2020的博客
03-24 2323
使用云上GPU资源训练一个图像分类模型一、使用前提二、连接和初始化工作区三、创建试验四、创建计算资源五、数据集下载MNIST数据集示例图片创建和注册数据集六、创建运行脚本七、设置试验运行环境设置试验Python环境TensorFlow估计器（Estimator）八、提交试验 在计算机视觉中使用GPU计算资源可以大大加速模型的训练过程。如果本地没有GPU资源，可以通过Azure机器学习利用Azure...
AI架构师：评估AI系统多租户性能隔离，如何避免不同用户相互影响
最新发布
AI天才研究院
08-01 1105
当AI系统从服务单一企业的“私人厨房”，升级为服务百行千业的“共享餐厅”，如何让每个“食客”（租户）都能享受“专属厨师”（资源）的服务？本文从架构设计的底层逻辑出发，用“商场店铺”“电梯抢位”等生活化比喻，拆解多租户性能隔离的核心技术——资源配额、优先级调度、动态调整，结合Kubernetes、CUDA MPS等工具的落地实践，帮你解决“一个租户卡爆整个系统”的噩梦。无论是AI SaaS平台的架构师，还是企业内部AI平台的开发者，都能从本文获得可操作的隔离策略，实现“共享资源不共享干扰”的理想状态。
【SLURM】sbatch写法
agent_snail的博客
03-30 659
sbatch写法教程。
现有K8S集群中添加GPU节点
少说多做
05-19 2622
背景 产线有一套用RKE搭建的K8S集群，由于业务需要，需要通过GPU来运行一些业务，所以需要集群中添加GPU节点 现有环境 RKE:Running RKE version: v1.1.2 Kubernetes: 1.17 - Master节点: 3个 - Worker节点: 6个(全部为CPU节点) 新节点信息 操作系统: CentOS 7.6 GPU卡数: 1张 （已安装驱动版本: 440.95.01) IP: 10.5.0.112 步骤 1.初始化配置新节点...
超算云(GPU服务器)环境配置
猎户座的博客
11-28 2944
最近在用并行超算云GPU服务器(中国国家网格12区)搭建毕设的环境，这里记录一下。 首先，超算云服务器的登录可以采用网页版、也可以采用客户端(超算云地址：https://cloud.paratera.com/ )。需要注意的是，并行超算云只提供windows和mac的客户端，Linux用户可能只有使用网页版的界面了(或者用pappcloud直接远程练ssh用vim写:( 哈哈，pappclou...
超算系统使用方法
热门推荐
HoyTra0
07-01 1万+
上个月学校的超算系统终于投入使用了..但是只有4块gpu...还是很让人头疼..希望大家都不会用..这样我就能一个人独占了 上周去面试的时候问到有没有记录的习惯..然后说没有很尴尬..很早就想写博客了..一直拖着..那不如就从今天开始吧 由于学校公开的手册写的非常之烂，就花了一些时间研究，目前基本掌握了使用方法 登陆超算系统 登陆还是很简单的，我用的是mac OS系统，直接在终端输入如下就...
用超级计算机（超算）跑模型代码指南
qq_43155641的博客
03-19 3225
Tabby安装与打开的方法在此网页。示例：mv file.txt newfile.txt - 将 "file.txt" 重命名为 "newfile.txt"。示例：grep "keyword" file.txt - 在 "file.txt" 中搜索包含 "keyword" 的行。示例：cp file1.txt file2.txt - 将 "file1.txt" 复制为 "file2.txt"。示例：chown user file.txt - 将 "file.txt" 的所有者更改为 "user"。
高性能集群系统使用简易记录
https://www.cnblogs.com/qizhou/
07-30 540
　　集群系统通常使用SLURM作业调度脚本来提交、查看、修改作业。以下记录它的脚本与命令的编写与使用。 常用命令 　　以下是各种常用命令： squeue #查看当前执行中的任务情况 sinfo #查看所有分区的情况 sacct #查看24小时内的历史任务 scancel job 56200 #取消id为56200的任务 scontrol show node #显示所有节点信息 scon...
【生信笔记】SLURM常用命令
Twinkle-star
05-11 489
【代码】【生信笔记】SLURM常用命令。
【集群】Slurm作业调度系统的使用
丑小鸭
02-11 8613
【集群】Slurm作业调度系统的使用
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值