更加清晰的训练时将数据集存入到内存中的trick

目录

1.数据集的获取

2.存入内存加速IO

2.1原本在run目录下的速度

2.2数据集存入内存

---

本教程基于北京超级云计算平台，在手册中有出现过这么一段话：

但是其后文的描述感觉有些不太清晰；故有了此文~希望能帮到读者。

1.数据集的获取

 其实平台内置了很多公开数据集，虽然一开始没有找到，但在工作人员帮助下获得了以下信息：

直接打开ssh登录到“登录节点” 

【用户名 ~】$ 

输入以下代码：

cd /data/public  # 事实上就是公开数据集存放路径在登录节点之外啦

# or 

cd ..

cd data

cd public  # 而如果想要返回到自己的根目录，虽然说你可以重开一个ssh，但是你可以一路 \

#  'cd .. ' 回到 / 目录下，ls就会发现大写的HOME，进去就是原本的登陆节点了！

 

2.存入内存加速IO

2.1原本在run目录下的速度

先来看看存放在mmdetection下的data文件夹内的数据的训练速度：

本人使用的是pvtv2 b0模型；

其实没50个iteration其实间隔时间挺久的了；

2.2数据集存入内存

按照说明，内存按照申请的gpu数量分配，比例为1：60G；而我这次使用的是PascalVOC，当然足以存放啦。

cd 你的数据集路径

tar -cf 数据集名.tar 数据集名 #  可以去看一下tar指令的参数使用，其实就是打包不压缩

注意下一步是在“提交脚本的运行程序” 中加入这些代码；也就是说在run.sh中加入代码：

date

tar -xf data/VOCdevkit.tar -C /dev/shm

date

加速IO的路径其实就是这个 /dev/shm ;

记得增加完这个之后去修改config文件中定义的数据集路径哦！举例如下：

 

 让我们来看看结果！

掐了一下秒表，50个iteration用时17.88s，好吧，虽然不至于肉眼提升但大概还是有提升的，可能是本身run目录下就是固态硬盘IO已经很快了？