转载:https://www.cnblogs.com/hellcat/p/9094806.html
1、Gluon数据加载
在gluon接口中,通过Dataset和DataLoader来对数据集进行循环遍历,并返回batch大小的数据,其中Dataset对象用于数据的收集、加载和变换,而DataLoader对象用于返回batch大小的数据。
1.相关模块
mxnet.gluon.data : 数据加载API
mxnet.gluon.data.vision : 专门用于计算机视觉的数据集API和处理工具2. 2.Dataset介绍
Dataset对象用于收集数据、加载和变换数据,其中 数据加载是能够通过给定的下标获取对应的样本,数据变换可以对数据进行各种数据增广操作
原理
所有Dataset类中,都有以下四个方法:
getitem(idx): 数据加载,用于返回第idx个样本
len(): 用于返回数据集的样本的数量
transform(fn, lazy = True): 数据变换,用于返回对每个样本利用fn函数进行数据变换(增广)后的Dataset
transform_first(fn, lazy = True): 数据变换,用于返回对每个样本的特征利用fn函数进行数据变换(增广)后的Dataset,而不对label进行数据增广
用法
ArrayDataset
import mxnet as mx
## 定义
mx.random.seed(42) # 固定随机数种子,以便能够复现
X = mx.random.uniform(shape = (10, 3))
y = mx.random.uniform(shape = (10, 1))
dataset = mx.gluon.data.ArrayDataset(X, y) # ArrayDataset不需要从硬盘上加载数据
## 使用
dataset[5] # 将返回第6个样本的特征和标签,(特征,标签)
ImageFolderDataset
import mxnet as mx
## 定义
dataset= gdata.vision.ImageFolderDataset("样本集的根路径", flag=1) #样本路径文件目录名称不支持中文
## 使用
dataset[5] # 将返回第6个样本的特征和标签,(特征,标签)
data/:
car/: t1.jpg, t2.jpg, t3.jpg
dog/: d1.jpg, d2.jpg, d3.jpg
...
ImageRecordDataset
import mxnet as mx
## 定义
file = '/xxx/train.rec'
#不需要指定idx文件路径,会从路径中自动拼接处idx的路径,例如此处为/xxx/train.idx
dataset= gdata.vision.ImageRecordDataset(file)
## 使用
dataset[5] # 将返回第6个样本的特征和标签,(特征,标签)
API中的所有Dataset
mxnet.gluon.data.Dataset: 抽象的数据集类
mxnet.gluon.data.ArrayDataset: 组合多个Dataset的数据集类
mxnet.gluon.data.RecordFileDataset: .rec文件的数据集类
mxnet.gluon.data.vison.MNIST: MNIST数据集的Dataset
mxnet.gluon.data.vison.FashionMNIST: FashionMNIST数据集的Dataset
mxnet.gluon.data.vison.CIFAR10: CIFAR10数据集的Dataset
mxnet.gluon.data.vison.CIFAR100: CIFAR100数据集的Dataset
mxnet.gluon.data.vison.ImageRecordDataset: 含有图片的.rec文件的Dataset
mxnet.gluon.data.vison.ImageFolderDataset: 存储图片在文件夹结构的Dataset
说明: mxnet和numpy的array可以直接作为Dataset
3. DataLoader介绍
加载Dataset,迭代时返回batch大小的样本可以方便的并行地加载数据
使用示例如下:
from multiprocessing import cpu_count
CPU_COUNT = cpu_count()#指定CPU参数,如果是gpu版本的mxnet会发生意外,不要用就好了
data_loader = mx.gluon.data.DataLoader(dataset, batch_size = 5, num_workers = CPU_COUNT)
for X, y in data_loader:
print X.shape, y.shape
<