本节课主要内容为MMClassification的代码编写教程。
环境搭建如下
Mim对应pip
Mac版本由于conda问题,不建议。
Pytorch大致流程:
Pytorch
构架数据,网络,优化器,双层路实现整个流程
首先定义数据,torchvision里有简单数据集fashionMNIST可以拿来用。
Transform数据预处理、数据增强,传参数进去
定义batch_size
定义Dataloader,Dataloader每次数据采样的过程
定义模型,继承nn.module,网络层
设置GPU
定义损失函数
使用优化器优化模型参数
写内层循环,遍历数据集,取一些数据前传预测概率,比较,算损失函数,反向传播backward,梯度下降
实际是多次遍历这个数据集,做优化,完成,保存model参数到.pth文件
“部署”训练后模型应用到新数据上:网络走一遍,刚才的model.pth加载进来
调至eval模式,model.eval()
测试时不需算梯度,torch.no_grad()
和训练时相同的处理图像
超算平台使用的大致流程
module avail
创建环境
Pip安装pytorch
报错了考虑
CUDA不能低于11.1
MMCV官网
下载代码
漏了一点拷贝解压
下载数据集
用快传上传,拖拽,右上方可以看进度
划分数据集脚本
写绝对路径
配置文件
配置完成,进行微调
1是几个GPU 后加作业脚本
提交完成,作业ID唯一 R就是正在运行
查看进程
取消作业: 后是ID 状态变为CG就是正在退出