目录
本教程基于北京超级云计算平台,在手册中有出现过这么一段话:
但是其后文的描述感觉有些不太清晰;故有了此文~希望能帮到读者。
1.数据集的获取
其实平台内置了很多公开数据集,虽然一开始没有找到,但在工作人员帮助下获得了以下信息:
直接打开ssh登录到“登录节点”
【用户名 ~】$
输入以下代码:
cd /data/public # 事实上就是公开数据集存放路径在登录节点之外啦
# or
cd ..
cd data
cd public # 而如果想要返回到自己的根目录,虽然说你可以重开一个ssh,但是你可以一路 \
# 'cd .. ' 回到 / 目录下,ls就会发现大写的HOME,进去就是原本的登陆节点了!
2.存入内存加速IO
2.1原本在run目录下的速度
先来看看存放在mmdetection下的data文件夹内的数据的训练速度:
本人使用的是pvtv2 b0模型;
其实没50个iteration其实间隔时间挺久的了;
2.2数据集存入内存
按照说明,内存按照申请的gpu数量分配,比例为1:60G;而我这次使用的是PascalVOC,当然足以存放啦。
cd 你的数据集路径
tar -cf 数据集名.tar 数据集名 # 可以去看一下tar指令的参数使用,其实就是打包不压缩
注意下一步是在“提交脚本的运行程序” 中加入这些代码;也就是说在run.sh中加入代码:
date
tar -xf data/VOCdevkit.tar -C /dev/shm
date
加速IO的路径其实就是这个 /dev/shm ;
记得增加完这个之后去修改config文件中定义的数据集路径哦!举例如下:
让我们来看看结果!
掐了一下秒表,50个iteration用时17.88s,好吧,虽然不至于肉眼提升但大概还是有提升的,可能是本身run目录下就是固态硬盘IO已经很快了?