mxnet Record IO详解

最近在看识别的代码，还是有许多东西值得学习，比如说分布式训练，数据的读取，由于识别的训练数据量非常大，数据的制作、读取都是非常影响训练速度的，下面先总结一下数据加载读取的部分。

首先，当我们需要使用大数据集来训练模型的时候，这时候加载和读取数据就成为了我们训练的瓶颈。而Mxnet提供了一种数据的存储格式ImageRecord，通过这种数据的存储格式可以使用多进程来加载数据，可以极大的提高训练的效率。
Mxnet提供了一个mx.recordio模块，可以对ImageRecord文件进行操作，该模块里面包含了两个子模块。MXRecordIO支持顺序读写，MXIndexedRecordIO支持随机读写。下面一起来看一下，这两个子模块中的一些接口函数，以及如何使用它们来读取和保存ImageRecord 文件

1. 将数据保存为rec格式，还有对应的索引文件
   

图片保存为rec格式

import mxnet as mx

write_record = mx.recordio.MXIndexedRecordIO("test.idx","test.rec", 'w')
#读取图片
img_path = "img/test.jpg"
#将图片数据转为Numpy数组
img = mx.image.imread(img_path).asnumpy()
label = 1.0
header = mx.recordio.IRHeader(flag=0,label=label,id=0,id2=0)
s = mx.recordio.pack_img(header,img,quality=95,img_fmt=".jpg")
#将数据写入到rec文件中
write_record.write_idx(0,s)
write_record.close()

图片读取rec格式

import mxnet as mx
read_record  = mx.recordio.MXIndexedRecordIO(path_imgidx, path_imgrec, 'r')
def __getitem__(self, index):
    idx = self.imgidx[index]
    s = self.imgrec.read_idx(idx)
    header, img = mx.recordio.unpack(s)
    label = header.label
    if not isinstance(label, numbers.Number):
        label = label[0]
    label = torch.tensor(label, dtype=torch.long)
    sample = mx.image.imdecode(img).asnumpy()

    ##########################################
    #sample = cv2.cvtColor(sample, cv2.COLOR_BGR2GRAY)
    #sample = cv2.cvtColor(sample, cv2.COLOR_GRAY2BGR)
    ##########################################

    if self.transform is not None:
        sample = self.transform(sample)
    return sample, label

这里unpack是把读出的MXImageRecord解压为image， label 和img转成对应的类型及经过transform，即可作为网络的输入。

参考：
1.https://xiulian.blog.csdn.net/article/details/107210952
2. https://blog.csdn.net/qq_20622615/article/details/88633767