gluon-data三个工具

官方文档 https://mxnet.incubator.apache.org/api/python/gluon/data.html

gluon对于训练数据的准备,提供两个个工具:

  • Dataset
  • Dataloader

以下分别来解释。

Dataset

Dataset是对一个数据集的抽象,用户需要关注4个方法:

  • __len__:获取数据集的长度,比如图片总数量。
  • __getitem__:获取数据集中一条数据的方法,用户需要定义自己的这个方法。
  • transform:返回一个dataset,从中获取的每条数据,都经过了数据处理得到。默认只在调用的时候才做数据处理,lazy方式。
  • transform_first:和上一个的区别是,只对每条数据的第一个数据进行处理。常用场景是,每条数据包括图像和标签,只想对图像进行处理,就可以用这个。
Dataloader

Dataset获取数据,返回一个batch数据,用于训练。
最简单的使用方法:

train_loader = gluon.data.Dataloader(train_dataset, shuffle=True, batch_size=64)
val_loader = gluon.data.Dataloader(val_dataset, shuffle=False, batch_size=64)

如果不想shuffle,想自己指定获取数据的方法,可以使用sampler
gluon提供两种sampler:RandomSampler, SequentialSampler,随机和顺序。
gluon还提供一个Sampler:BatchSampler,每次迭代返回一个minibatch数据。注意,如果在Dataloader指定了batch_sampler,这些参数“batch_size, shuffle, sampler, last_batch”就都不要使用了。

  • 2
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值