参考教程
https://blog.gitnote.cn/post/bscc_yolov5/index.html
https://blog.csdn.net/qiaoyurensheng/article/details/125944868
#建议下载win客户端操作,网页端快传不知为何总之不显示可以上传的列表
#(建议先上传挂着,要一些时间传输)
#环境准备--------------------
#加载 anaconda 环境
module load anaconda/2020.11
#创建一个名为 torch191 的 python3.7 的虚拟环境
conda create -n torch191 Python=3.7
#加载 cuda/11.1 环境
module load cuda/11.1
#激活 python 虚拟环境
source activate torch191
#安装 torch 1.8.0 环境,可依据需要自行安装其他 torch 版本环境
conda install pytorch==1.8.0 torchvision==0.9.0 torchaudio==0.8.0 cudatoolkit=10.2 -c pytorch
#https://blog.csdn.net/caiguanhong/article/details/112184290
#https://blog.csdn.net/mukchan/article/details/120809803
#然后使用快传工具将本地训练文件以及训练数据上传到超算节点的 run 文件夹下
#上传后解压(如需)
#然后进入训练网络代码的文件夹下
#安装 需要的运行环境
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple some-package
#生成requirements.txt可以参考如下:
#https://www.zhihu.com/question/463332914
#使用pycharm生成可能要注意连接时“==”,如pytorch==1.8.0,按需请检查该点
创建sh训练网络
如run.sh,文件内容如下
#!/bin/sh
# 加载 anaconda
module load anaconda/2020.11
# 加载 cuda 11.1
module load cuda/11.1
# 激活 python 虚拟环境
source activate torch191
export PYTHONUNBUFFERED=1
# python 训练的的命令(此处需要自己依据自己训练的需要进行修改)
python demo_train.py --model=...
#如在window记事本创建大概会报错,使用该命令转一下
#https://blog.csdn.net/weixin_45092662/article/details/121299887
dos2unix run.sh
#进入 run.sh 所在目录中,执行sbatch --gpus=GPU数量 程序运行脚本,提交需要训练的数据到超算的计算节点。
sbatch --gpus=1 run.sh
#查看提交结果
parajobs
#存储的权重文件与本地运行时的相对路径一致
#日志为run.sh同目录下后缀为.out的文件
#取消作业(作业ID为parajobs结果可查)
scancel 作业ID
#parajobs输出结果为:
#
第一列 JOBID 是作业号,作业号是唯一的。
第二列 PARTITION 是作业运行使用的队列名。
第三列 NAME 是作业名。
第四列 USER 是超算账号名。
第五列 ST 是作业状态,R(RUNNING)表示正常运行,PD(PENDING)表示在排队,CG(COMPLETING)表示正在退出,S 是管理员暂时挂起,CD(COMPLETED)已完成,F(FAILED)作业已失败。只有 R 状态会计费。
第六列 TIME 是作业运行时间。
第七列 NODES 是作业使用的节点数。
第八列 NODELIST(REASON)对于运行作业(R 状态)显示作业使用的节点列表;对于排队作业(PD 状态),显示排队的原因。
#