记录pytorch的API学习之Dataset与Dataloader(供自己回顾复习)

本文介绍了PyTorch中torch.utils.data.Dataset和Dataloader的使用。Dataset负责从磁盘加载数据并预处理,需实现__init__,__len__和__getitem__方法。Dataloader则将样本打包成minibatch,支持shuffle和多进程加载,通过参数如batch_size, num_workers和collate_fn定制数据处理流程。Dataloader的sampler和shuffle不能同时启用。" 79163472,7446096,Picks的区间最值段树优化,"['数据结构', '算法', '线段树', '区间操作']
摘要由CSDN通过智能技术生成

pytorch官方对应的教程
torch.utils.data.Dataset主要是针对单个样本
torch.utils.data.Dataloader针对多个样本.

简单的说是通过torch.utils.data.Dataset得到单个样本过后,再用torch.utils.data.Dataloader把它变成随机梯度下降算法 训练所需要的minibatch的形式(比如把多个样本打包成一个batch、或者把样本顺序打乱等等操作都可以通过Dataloader来实现,通常我们会将多个样本同时进行训练,这样一方面可以加快训练速度,另一方面可以提高抗噪性。


torch.utils.data.Dataset

Dataset主要是从磁盘中加载数据,并对样本和标签做一些预处理。


在这里插入图片描述
自定义 Dataset 类必须实现三个函数__init__,__len __ ,__getitem __。(继承torch.utils.data.Dataset这个类)
def getitem(self, index):
raise NotImplementedError
该函数通过索引来返回训练样本,比如训练样本有100个,那index的范围为[0,99].

torch.utils.data.D

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值