本文主要为对以下代码的相关理解:
train_data=gluon.data.DataLoader(
#用于加载存储在文件夹结构中的图像文件的数据集
gluon.data.vision.ImageFolderDataset(train_path,transform=transform_train),
batch_size=batch_size,shuffle=True,num_workers=4)
#用于加载存储在文件夹结构中的图像文件的数据集
gluon.data.vision.ImageFolderDataset(train_path,transform=transform_train),
batch_size=batch_size,shuffle=True,num_workers=4)
(1)DataLoader
从数据集加载数据并返回小批量数据。 |
(2)class
mxnet.gluon.data.
DataLoader
(
dataset
,
batch_size = None
,
shuffle = False
,
sampler = None
,
last_batch = None
,
batch_sampler = None
,
batchify_fn = None
,
num_workers = 0
)参数理解
- dataset(数据集) - 源数据集。请注意,numpy和mxnet数组可以直接用作数据集。
- batch_size(int) - 最小批量的大小。
- shuffle(bool) - 是否洗牌。
- sample(采样器) - 要使用的采样器。指定采样器或混洗,而不是两者。
- last_batch({'keep' ,'discard' ,'rollover'}) -
如果batch_size不能均匀分配len(数据集),如何处理最后一批 。
keep - 返回比前一批次样品少的批次。discard - 如果最后一批不完整,则丢弃最后一批。rollover - 剩余的样本将转入下一个时间段。
- batch_sampler(采样器) - 返回小批量的采样器。如果指定了batch_sampler,则不要指定batch_size,shuffle,sampler和last_batch。
- batchify_fn(可调用) -
回调函数允许用户指定如何将样本合并到批处理中。默认为 default_batchify_fnum_workers(int ,默认值为0) - 用于数据预处理的多处理工作器的数量。 Windows尚未支持num_workers> 0。(3)class
mxnet.gluon.data.vision.datasets.
MNIST
(root ='〜/ .mxnet / datasets / mnist',train = True,transform = None )参数: - root(str ,默认'〜/ .mxnet / datasets / mnist') - 用于存储数据的临时文件夹路径。
- train(bool ,默认为True) - 是否加载训练或测试集。
- transform(函数,默认无) - 用户定义的回调函数,用于转换每个样本。