【超级视客营】基于超算平台的MMYOLO实践过程记录（环境配置）

目录

1. 超算平台环境配置

1.1 基础环境搭建

1.2 使用conda安装torch库

1.3 MMYOLO安装流程

2. 通过vscode远程连接超算平台

---

1. 超算平台环境配置

该平台已部署多款应用软件以及软件开发运行环境，由于不同用户在该平台上可能需要使用不同的软件环境，配置不同的环境变量，软件之间可能会相互影响，因而在该平台安装了module工具用于统一管理应用软件。

• module工具主要用来帮助用户在使用软件前设置必要的环境变量，用户使用module加载相应版本的软件后，即可直接调用超算上已安装的软件
• module其它用法，可以使用module --help中查询，module加载的软件环境只在当前登陆窗口有效，退出登录后软件环境就会失效。用户如果需要经常使用一个软件，可以把load命令放在～/.bashrc或提交脚本里面

1.1 基础环境搭建

• 以下是环境搭建的相关指令

# 加载cuda环境
module load cuda/11.6
# 使用anaconda自定义python环境
module load anaconda/2021.05
# 创建虚拟环境
conda create --name openmmlab python=3.8

• 以下是一些其他常用操作

# 查看已加载的环境
module list
# 查询可用的软件列表
module avail

# 查看已安装的环境
conda env list
# 激活某个环境
source activate openmmlab
# 查看python的安装路径
which python
# 查看python版本
python --version

# 取消当前加载的环境
source deactivate openmmlab
# 删除当前虚拟环境
conda remove -n openmmlab --all

• linux常用指令

pwd #显示当前目录的路径
rm -rf [文件夹名称] #删除该文件夹

1.2 使用conda安装torch库

conda install pytorch torchvision torchaudio pytorch-cuda=11.6 -c pytorch -c nvidia

1.3 MMYOLO安装流程

这里参考了MMYOLO提供的详细安装教程开始你的第一步，以下是我所使用的安装命令。

• 通过mim来安装mmyolo依赖库： MMEngine、 MMCV 和 MMDetection 。

# 安装mim工具
pip install -U openmim
# 安装依赖库
mim install "mmengine>=0.3.1"
mim install "mmcv>=2.0.0rc1,<2.1.0"
mim install "mmdet>=3.0.0rc3,<3.1.0"

• 通过源码安装mmyolo框架

git clone https://github.com/open-mmlab/mmyolo.git
cd mmyolo
# Install albumentations
pip install -r requirements/albu.txt
# Install MMYOLO
mim install -v -e .
# "-v" 指详细说明，或更多的输出
# "-e" 表示在可编辑模式下安装项目，因此对代码所做的任何本地修改都会生效，从而无需重新安装。

• 验证是否安装正确

由于超算平台的登录节点没有gpu卡，需要写.sh测试脚本，并且到计算节点跑推理demo

# 首先下载配置文件和模型权重文件
mim download mmyolo --config yolov5_s-v61_syncbn_fast_8xb16-300e_coco --dest .

 以下是测试脚本：

#!/bin/bash
#SBATCH --gpus=1
python demo/image_demo.py demo/demo.jpg \
                          yolov5_s-v61_syncbn_fast_8xb16-300e_coco.py \
                          yolov5_s-v61_syncbn_fast_8xb16-300e_coco_20220918_084700-86e02187.pth

# 可选参数
# --out-dir ./output *检测结果输出到指定目录下，默认为./output, 当--show参数存在时，不保存检测结果
# --device cuda:0    *使用的计算资源，包括cuda, cpu等，默认为cuda:0
# --show             *使用该参数表示在屏幕上显示检测结果，默认为False
# --score-thr 0.3    *置信度阈值，默认为0.3

测试完成后，可以在output文件夹中看到测试用例的检测输出：

至此，用于mmyolo开发的所有环境就安装好啦！ 

2. 通过vscode远程连接超算平台

• 首先在控制台中的自助服务中选择【ssh直连管理】创建一个密码（自定义名称）
• 接着复制该界面中下方列表中的任意一个超算SSH信息
•  打开vscode按键command+shift+p，选择remote-ssh
• 选择configure ssh hosts
• 打开远程控制平台输入复制好的ssh以及自己创建的密码即可连接
• 这样就可以在本地的vscode上直接查看并调试超算平台的代码