北京超算30区使用MMClassification训练花卉图片分类模型
步骤如下:
创建环境
根据⽤ anaconda、cuda、gcc 等基础环境模块,在N30分区可以使用module avail
命令调用模块信息。
安装anaconda,创建虚拟环境,环境中安装python3.8,同时安装以下包:torch、mmcv-full、openmmlab/mmclassification,安装完成后,准备shell脚本,将环境信息存在脚本中。
数据集处理
flower 数据集包含 5 种类别的花卉图像:雏菊 daisy 588张,蒲公英 dandelion 556张,玫瑰 rose 583张,向⽇葵 sunflower 536张,郁⾦⾹ tulip 585张。
文件配置
构建配置⽂件可以使⽤继承机制,从 configs/base 中继承 ImageNet 预训练的任何模型,ImageNet 的数据集配置,学习率策略等。
提交计算
在环境、数据集、MMCls 配置⽂件准备完成之后就可以提交计算。在 N30 提交计算可以通过作业脚本的⽅式,
操作步骤如下:
- 新建⼀个作业脚本 run.sh,脚本的解释器可以是 /bin/sh、/bin/bash、/bin/csh 脚本
- 使⽤ sbatch 命令提交作业脚本
- 使⽤ squeue 或 parajobs 查看提交的作业
- 查看作业输出⽇志