（5）Pytorch数据处理DataLoader

已于 2022-12-30 16:13:59 修改
阅读量854 收藏
点赞数
分类专栏： pytorch基础知识积累 文章标签： pytorch 深度学习 python
于 2022-12-10 16:59:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lwqian102112/article/details/128257582
版权

Pytorch 数据处理

要点总结
1、功能
Dataset：准备数据集，一般会针对自己的数据集格式重写Dataset，定义数据输入输出格式
Dataloader：用于加载数据，通常不用改这部分内容

2、看代码时请关注
Dataloader中collate_fn 传入的参数，这个参数是 数据以 batch 堆叠的列表
Dataset中getitem对原始数据的处理方式
这份笔记不完善，还需要学习加深（TBD）

举例

train_dataset = CenternetDataset(train_lines, input_shape, num_classes, train = True)
gen = DataLoader(train_dataset, shuffle = shuffle, batch_size = batch_size, num_workers = num_workers, pin_memory=True,drop_last=True, collate_fn=centernet_dataset_collate, sampler=train_sampler)

1、DataLoader

1.1 collate-fn的功能

pytorch中collate_fn函数的使用&如何向collate_fn函数传参 ⭐⭐（这篇博文总结到位！）

dataloader取数据的index，进入dataset的getitem确定读取数据具体内容，然后回到dataloader进行数据堆叠生成batch。（个人理解，不一定准确）
在这里插入图片描述

collate_fn用法
在这里插入图片描述
collate_fn的用处:
自定义数据堆叠过程
自定义batch数据的输出形式
collate_fn的使用
定义一个以data为输入的函数
输入输出分别与getitem函数和loader调用时对应
——理解不通透，不过没关系，现在至少加深理解多一分了！！！

1.2 可视化加深理解

PyTorch DataLoader工作原理可视化 ⭐
数据加载的形象过程
在这里插入图片描述

如何 shuffle 和 loader
在这里插入图片描述

TODO

系统学习Pytorch笔记三：Pytorch数据读取机制(DataLoader)与图像预处理模块(transforms)

Dataset中使用transforms

import torchvision.transforms as transforms
self.to_tensor = transforms.ToTensor()   # ?
木槿qwer
关注
专栏目录
【pytorch】DataLoader（数据迭代器） 包含多种DataLoader的生成方法
学渣的博客
09-22 6万+
本博客讲解了pytorch框架下DataLoader的多种用法，每一种方法都展示了实例，虽然有一点复杂，但是小伙伴静下心看一定能看懂哦 ：)，在1.1.1节介绍的三种方法中，推荐（方法三实在是过于复杂不做推荐），另外，第三节中的处理示例使用了非DataLoader的方法进行数据集处理，也可以借鉴~
pytorch之DataLoader
朴素.无恙的博客
12-19 6715
pytorch之DataLoader 在训练神经网络时，最好是对一个batch的数据进行操作，同时还需要对数据进行shuffle和并行加速等。对此，PyTorch提供了DataLoader帮助实现这些功能。Dataset只负责数据的抽象，一次调用__getitem__只返回一个样本。 DataLoader的函数定义如下： DataLoader(dataset, batch_size=1, shu...
Pytorch中的DataLoader
xinxin的博客
08-01 4291
官方给出的定义是：即：数据加载器。组合数据集和采样器，并在数据集上提供单进程或多进程迭代器。换句话说，通常在训练时我们会将数据集分成若干小的、随机的批（batch），这个操作当然可以手动操作，但是pytorch里面为我们提供了API让我们方便地从dataset中获得batch，DataLoader就是来解决这个问题的。它的本质是一个可迭代对象，即经过DataLoader的返回值为一个可迭代的对象，一般的操作是：1、创建一个 dataset 对象；2、创建一个DataLoader对象；
PyTorch——Dataloader使用
m0_73991249的博客
08-21 594
前面我在写PyTorch的第一篇文章里讲过Dataset是啥，Dataset就是将数据集分类，并且分析出这些数据集它的位置哪、大小多少、这个数据集一共有多少数据......等等信息那么把Dataset比作一副扑克牌，那么如果你就让这副牌放在桌子那不去取牌，那你怎么打牌？Dataloader就是做【取牌】这个操作，就是去【读取数据】
pytorch中的DataLoader
m0_50317149的博客
05-31 6349
简单来说，dataloader的作用就是将数据集变成可以进行遍历的对象，每次迭代可以从数据集中返回一组数据。在模型训练时，我们能可以用DataLoader批量读取数据。
pytorch中DataLoader详解
qq_40934825的博客
01-18 1万+
在深度学习的训练过程中，我们需要将数据分批的放入到训练网络中，批数量的大小也被成为batch_size,通过pytorch提供的dataloader方法，可以自动实现一个迭代器，每次返回一组batch_size个样本和标签来进行训练。 下面是一个dataloader的简单例子： import torch import torch.utils.data as Data BATCH_SIZE = 5 #生成1,2,3,4,5,6,7,8,9,10 x = torch.linspace(1, 10, 10) #
pytorch数据读取Dataloader与Dataset
01-06
数据 数据收集–>img，label ...DataLoader是Pytorch中用来处理模型输入数据的一个工具类。通过使用DataLoader，我们可以方便地对数据进行相关操作，比如我们可以很方便地设置batch_size，对于每一个ep
Pytorch技巧:DataLoader的collate_fn参数使用详解
09-18
总的来说，`DataLoader`的`collate_fn`参数是PyTorch中一个非常灵活且强大的工具，它允许用户根据实际问题的需求定制数据加载的方式，从而更有效地处理和训练模型。通过理解并熟练掌握`collate_fn`，可以更好地优化...
Pytorch中的DataLoader()函数
weixin_44737266的博客
04-27 1531
DataLoader函数 1.DataLoader(object)的参数 dataset(Dataset): 传入的数据集 batch_size(int, optional): 每个batch有多少个样本 shuffle(bool, optional): 在每个epoch开始的时候，对数据进行重新排序 sampler(Sampler, optional): 自定义从数据集中取样本的策略，如果指定这个参数，那么shuffle必须为False batch_sampler(Sampler, optional):
系统学习Pytorch笔记三：Pytorch数据读取机制(DataLoader)与图像预处理模块(transforms)
热门推荐
Miracle8070
04-17 6万+
Pytorch官方英文文档：https://pytorch.org/docs/stable/torch.html? Pytorch中文文档：https://pytorch-cn.readthedocs.io/zh/latest/ 1. 写在前面 疫情在家的这段时间，想系统的学习一遍Pytorch基础知识，因为我发现虽然直接Pytorch实战上手比较快，但是关于一些内部的原理知识其实并不是太懂，这样...
pytorch——DataLoader
m0_67855350的博客
04-08 874
Datasetint可选1bool可选int可选bool可选。
pytorch dataloader详解
包龙星的剑
08-25 1万+
构建自己的dataloader是模型训练的第一步，本篇文章介绍下pytorch与dataloader以及与其相关的类的用法。
pytorch初学笔记（六）：DataLoader的使用
CV在读
10-30 2万+
DataLoader是一个可迭代的数据装载器，组合了数据集和采样器，并在给定数据集上提供可迭代对象。可以完成对数据集中多个对象的集成。CLASSDataLoaderdataset,,,,,,,,,timeout=0,,,,*,,,)Epoch： 所有训练样本都已输入到模型中，称为一个epochIteration： 一批样本（batch_size）输入到模型中，称为一个Iteration,
pytorch学习笔记-DataLoader
weixin_52646021的博客
07-09 225
DataLoader是一个读取数据的接口，该接口的目的是根据batchsize的大小，是否shuffle等封装成一个Batch Size大小的Tensor，用于后面的训练。 官方给出的声明是：DataLoader是：数据加载，由数据集和采样器组成，根据你设置好的参数，DataLoader这个类就会开始对数据进行初始化操作，在传参的同时实例化对象，如下： test_loader=DataLoader(dataset=test_data,batch_size=64,shuffle=True,num_worker
pytorch--dataloader
zhulinspace
10-04 284
注：以下图片来自sung kim的pytorch lecture 在dataset很小的情况下人工data feed比较简单，如下我们feed所有的data给model,然后利用output去计算损失函数和梯度，然后更新权重，但是当data size很大的情况，我们不能把data一次性feed给model,也不能计算出所有的梯度 ， 所以通常的做法是我们把所有的data分成小的batches,然后...
聊聊 Pytorch 的 dataloader
idol24的博客
07-01 355
点击上方“机器学习与生成对抗网络”，关注星标获取有趣、好玩的前沿干货！来源：知乎—Mario 编辑 人工智能前沿讲习地址：https://zhuanlan.zhihu.com/p/1172...
pytorch中Dataloader的使用
ruichuang2的博客
08-20 1326
无
pytorch DataLoader
每日提升一点点
10-23 313
class DataLoader(object): r""" Data loader. Combines a dataset and a sampler, and provides single- or multi-process iterators over the dataset. Arguments: dataset (Dataset): dataset from which to load the data. batch_size .
pytorch怎么读取dataloader中的一个数据
最新发布
10-16
在PyTorch中，要从`DataLoader`中读取一个数据批次，你可以按照以下步骤操作： 1. 定义一个自定义的`Dataset`类，这个类继承自`torch.utils.data.Dataset`。例如，如果你的高光谱图像数据是numpy数组，可以这样实现...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值