MXNet：数据读写

转载：https://www.cnblogs.com/hellcat/p/9094806.html

1、Gluon数据加载

在gluon接口中，通过Dataset和DataLoader来对数据集进行循环遍历，并返回batch大小的数据，其中Dataset对象用于数据的收集、加载和变换，而DataLoader对象用于返回batch大小的数据。

1.相关模块
mxnet.gluon.data ： 数据加载API
mxnet.gluon.data.vision : 专门用于计算机视觉的数据集API和处理工具2. 2.Dataset介绍

Dataset对象用于收集数据、加载和变换数据，其中 数据加载是能够通过给定的下标获取对应的样本，数据变换可以对数据进行各种数据增广操作

原理
所有Dataset类中，都有以下四个方法：

getitem(idx)： 数据加载，用于返回第idx个样本
len(): 用于返回数据集的样本的数量
transform(fn, lazy = True): 数据变换，用于返回对每个样本利用fn函数进行数据变换（增广）后的Dataset
transform_first(fn, lazy = True): 数据变换，用于返回对每个样本的特征利用fn函数进行数据变换（增广）后的Dataset,而不对label进行数据增广
用法
ArrayDataset

import mxnet as mx
## 定义
mx.random.seed(42) # 固定随机数种子，以便能够复现
X = mx.random.uniform(shape = (10, 3))
y = mx.random.uniform(shape = (10, 1))
dataset = mx.gluon.data.ArrayDataset(X, y) # ArrayDataset不需要从硬盘上加载数据
## 使用
dataset[5]  # 将返回第6个样本的特征和标签，（特征，标签）

ImageFolderDataset

import mxnet as mx
## 定义
dataset= gdata.vision.ImageFolderDataset("样本集的根路径", flag=1)  #样本路径文件目录名称不支持中文
## 使用
dataset[5]  # 将返回第6个样本的特征和标签，（特征，标签）
data/:
	car/:  t1.jpg, t2.jpg, t3.jpg
	dog/:  d1.jpg, d2.jpg, d3.jpg
	...

ImageRecordDataset

import mxnet as mx
## 定义
file = '/xxx/train.rec'
 #不需要指定idx文件路径，会从路径中自动拼接处idx的路径，例如此处为/xxx/train.idx
dataset= gdata.vision.ImageRecordDataset(file) 
## 使用
dataset[5]  # 将返回第6个样本的特征和标签，（特征，标签）

API中的所有Dataset

mxnet.gluon.data.Dataset： 抽象的数据集类

mxnet.gluon.data.ArrayDataset: 组合多个Dataset的数据集类

mxnet.gluon.data.RecordFileDataset:　.rec文件的数据集类

mxnet.gluon.data.vison.MNIST： MNIST数据集的Dataset

mxnet.gluon.data.vison.FashionMNIST: FashionMNIST数据集的Dataset

mxnet.gluon.data.vison.CIFAR10: CIFAR10数据集的Dataset

mxnet.gluon.data.vison.CIFAR100: CIFAR100数据集的Dataset

mxnet.gluon.data.vison.ImageRecordDataset: 含有图片的.rec文件的Dataset

mxnet.gluon.data.vison.ImageFolderDataset: 存储图片在文件夹结构的Dataset

说明： mxnet和numpy的array可以直接作为Dataset
3. DataLoader介绍
加载Dataset，迭代时返回batch大小的样本可以方便的并行地加载数据
使用示例如下：

from multiprocessing import cpu_count
CPU_COUNT = cpu_count()#指定CPU参数，如果是gpu版本的mxnet会发生意外，不要用就好了
data_loader = mx.gluon.data.DataLoader(dataset, batch_size = 5, num_workers = CPU_COUNT)
for X, y in data_loader:
    print X.shape, y.shape

<