Pytorch中iter(dataloader)的使用

最新推荐文章于 2023-10-26 20:09:37 发布
最新推荐文章于 2023-10-26 20:09:37 发布
阅读量2.2w 收藏 88
点赞数 28
分类专栏： Pytorch 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44533869/article/details/110856518
版权
本文介绍了PyTorch中的DataLoader如何作为可迭代对象工作，通过iter()和enumerate()访问数据集。示例展示了如何加载MNIST数据集，并以批次方式处理图像和标签。在使用enumerate()时，注意imgs和labels的顺序，它们分别代表了图像数据和对应的标签值。
摘要由CSDN通过智能技术生成

dataloader本质上是一个可迭代对象，可以使用iter()进行访问，采用iter(dataloader)返回的是一个迭代器，然后可以使用next()访问。
也可以使用enumerate(dataloader)的形式访问。
下面举例说明：

transformation = transforms.Compose([
    transforms.ToTensor()
])

train_ds = datasets.MNIST("./data", train=True, transform=transformation, download=True)

test_ds = datasets.MNIST("./data", train=False, transform=transformation, download=True)

train_dl = DataLoader(train_ds, batch_size=64, shuffle=True)
test_dl = DataLoader(test_ds, batch_size=256)
#imgs, labels = next(iter(train_dl))

for labels, imgs in enumerate(train_dl): #如果imgs在前，labels在后，那么imgs将是标签形式，labels才是图片转化0~1之间的值。
    print("imgs:\t", imgs)
    print("labels:\t", labels)

labels:	 3
imgs:	 [tensor([[[[0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          ...,
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.]]],


        [[[0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          ...,
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.]]],


        [[[0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          ...,
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.]]],


        ...,


        [[[0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          ...,
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.]]],


        [[[0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          ...,
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.]]],


        [[[0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          ...,
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.]]]]), tensor([5, 1, 7, 6, 7, 9, 6, 4, 0, 4, 0, 4, 4, 4, 2, 7, 5, 2, 9, 2, 1, 9, 1, 8,
        2, 6, 8, 0, 1, 6, 1, 0, 3, 6, 6, 2, 5, 1, 3, 4, 4, 1, 8, 4, 8, 1, 2, 5,
        2, 0, 1, 3, 6, 6, 0, 1, 7, 6, 0, 8, 3, 7, 1, 6])]

iter(dataloader)访问时，imgs在前，labels在后，分别表示：图像转换0~1之间的值，labels为标签值。并且imgs和labels是按批次进行输入的。

transformation = transforms.Compose([
    transforms.ToTensor()
])

train_ds = datasets.MNIST("./data", train=True, transform=transformation, download=True)

test_ds = datasets.MNIST("./data", train=False, transform=transformation, download=True)

train_dl = DataLoader(train_ds, batch_size=64, shuffle=True)
test_dl = DataLoader(test_ds, batch_size=256)
#imgs, labels = next(iter(train_dl))
"""
for labels, imgs in enumerate(train_dl):
    print("imgs:\t", imgs)
    print("labels:\t", labels)
"""
for imgs, labels in iter(train_dl):
    print("imgs:\t", imgs)
    print("label:\t", labels)

imgs:	 tensor([[[[0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          ...,
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.]]],


        [[[0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          ...,
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.]]],


        [[[0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          ...,
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.]]],


        ...,


        [[[0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          ...,
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.]]],


        [[[0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          ...,
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.]]],


        [[[0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          ...,
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.]]]])
label:	 tensor([6, 1, 0, 8, 6, 7, 8, 1, 3, 4, 8, 5, 8, 9, 7, 2, 9, 3, 0, 6, 1, 1, 4, 6,
        0, 6, 7, 9, 3, 7, 1, 3, 5, 2, 7, 1, 1, 0, 3, 0, 1, 0, 8, 7, 5, 1, 5, 6,
        3, 3, 1, 3, 8, 6, 8, 7, 6, 3, 8, 3, 1, 0, 2, 7])
沐雲小哥
关注
  • 28
    点赞
  • 踩
  • 88
    收藏
    觉得还不错? 一键收藏
  • 10
    评论
专栏目录
python-pytorch—./与../—pytorch之transforms—optimizer的3个函数—iter()与next()—argparse.ArgumentParser()
m0_38057941的博客
11-09 583
1、.与…与./与…/ . 代表当前所在目录 … 代表当前所在目录的父目录 ./ 代表当前所在目录下的某个文件夹或文件 …/ 代表当前所在目录的父目录下的某个文件夹或文件 2.Pytorch：transforms的二十二个方法 1.依概率p垂直翻转——transforms.RandomVerticalFlip 功能：依据概率p对PIL图片进行垂直翻转 参数：p- 概率，默认值为0.5 eg:VerticalFlip(p=0.5), 2.依概率p水平翻转——transforms.RandomHo
【Python】iter()用途及如何创建一个可迭代的对象
Vincent Lai的博客
11-02 1949
作用 iter() 函数用来生成迭代器的函数。——所以目的是得到一个迭代器。 那么什么是迭代器呢？ 迭代器是实现了__next__()方法的对象，它是访问可迭代序列的一种方式.。 特点 迭代器只能向后移动、不能回到开始、再次迭代只能创建另一个新的迭代对象。 （反序迭代工具：reversed()将返回一个反序访问的迭代器。） 实际上要想让一个迭代器工作，至少要实现__iter__()方法和__ne...
有关python的iter，next，yield，和pytorch的dataloader
captainst的专栏
12-08 7507
问题 首先，对于一个python数组，我们可以用for，或者next来遍历。 其次，而对于pytorch的 torch.utils.data.DataLoader, 也可以使用类似 next(iter(DataLoader)) 的方式遍历地读取dataset的数据。 再次，使用yield关键字，也可以起到“遍历”的效果。 那么问题来了。这iter，next，yield几个东西之间有什么关联，又有什么区别呢？pytorch的DataLoader又是用的什么样的方式呢？ 分析 先看一个简单例子： fruit =
由浅入深：终于搞懂了 Python 和 PyTorch迭代器（iterator）、Dataset 和 DataLoader
qq_43799400的博客
01-20 7143
关于 python 迭代器的基本介绍和使用可以看我之前写的博客： Python迭代器的创建和使用：iter()和next()方法，迭代器长度的获取 一、从一个简单的列表引入迭代器 将一个列表转换为迭代器（用 iter 方法），并逐个元素打印。 print(list(range(5))) # [0, 1, 2, 3, 4] myiter = iter(list(range(5))) # 用iter方法将list转换为iterator for x in myiter: print(x)
pytorch入门学习——网络搭建
最新发布
shengMio的博客
10-26 794
根据CIFAR-10数据集完成分类任务。
next(iter(dataloader))的详解
Dz0411的博客
09-27 820
经常在自己建立好数据集后需要验证一下，自己的图片和标签能不能对上，经常用到next(iter(dataloader))命令。可知其返的是一个batch的图片和标签数据，数据类型均为tensor，图片维度为（c，h，w）。分别打印出返回值的大小、类别。
Pytorch中dataloader之enumerate与iter，tqdm
开飞机的小毛驴儿
12-31 2万+
dataloader本质上是一个可迭代对象，使用iter()访问，不能使用next()访问； 使用iter(dataloader)返回的是一个迭代器，然后可以使用next访问； 也可以使用for inputs,labels in enumerate(dataloader)形式访问，但是enumerate和iter的区别是什么呢？暂时不明白。 补充： 如下代码形式调用enumerate...
PyTorch学习笔记（三）
zhangmeizi1996的博客
08-08 350
PyTorch主要组成模块，PyTorch构建神经网络的基本知识
Pytorch中DataLoader的使用
热门推荐
kahuifu的博客
09-18 5万+
前言 最近开始接触pytorch，从跑别人写好的代码开始，今天需要把输入数据根据每个batch的最长输入数据，填充到一样的长度（之前是将所有的数据直接填充到一样的长度再输入）。 刚开始是想偷懒，没有去认真了解输入的机制，结果一直报错…还是要认真学习呀！ 加载数据 pytorch中加载数据的顺序是： ①创建一个dataset对象 ②创建一个dataloader对象 ③循环dataloader对象，将data,label拿到模型中去训练 dataset 你需要自己定义一个class，里面至少包含3个函数： ①_
pytorch学习之dataloader的使用
qingqing2620的博客
02-19 738
简单介绍 dataset数据集 dataloader数据加载器，从dataset中去取数据 看dataloader官方文档 dataset告诉我们有几张数据 参数设置 import torchvision #准备的测试数据集 test_data = torchvision.datasets.CIFAR10("./dataset", tran=False, transform=torchvision.transforms.ToTensor()) test_loader = Dataloader(datase
Pytorch技巧:DataLoader的collate_fn参数使用详解
09-18
在PyTorch中，`DataLoader`是用于加载和预处理数据的重要工具，它将数据集分割成批量以便于训练神经网络模型。`collate_fn`是`DataLoader`的一个可选参数，允许用户自定义如何合并（collate）单个样本到批次中。这个...
pytorch中如何使用DataLoader对数据集进行批处理的方法
09-18
例如，可以在训练循环中使用`for`循环遍历每个batch的数据，然后将数据喂入模型进行训练。在这个过程中，使用`enumerate()`函数可以方便地获得每个epoch中批处理的索引和数据。 总结来说，通过PyTorch的`DataLoader...
pytorch数据读取Dataloader与Dataset
01-06
数据 数据收集–>img，label ...数据读取–>dataloader–>sampler（index生成索引，样本序号），dataset...通过使用DataLoader，我们可以方便地对数据进行相关操作，比如我们可以很方便地设置batch_size，对于每一个ep
Pytorch在dataloader类中设置shuffle的随机数种子方式
09-18
此外，如果你的项目中使用了其他依赖于随机性的库，例如scikit-learn，你也需要相应地设置这些库的随机数种子，以确保整个实验过程的一致性。 总之，正确地设置随机数种子是确保实验可复现性和结果一致性的重要手段...
pytorch::Dataloader中的迭代器和生成器应用详解
09-18
这个方法允许对象被迭代，就像是在for循环中使用一样。Python中内建的很多类型都是可迭代的，包括列表（list）、元组（tuple）、字典（dict）、集合（set）和字符串（str）等。 迭代器是可迭代对象返回的一个对象，...
【实战篇】PyTorch入门指南
jho9o5的博客
12-06 855
计算机程序通常由两个主要部分组成：代码和数据。在传统的编程中，程序员的工作是直接编写软件或代码，但是在深度学习和神经网络中，可以说软件就是网络本身，特别是在训练过程中自动产生的网络权值。数据是深度学习的主要组成部分，尽管让我们的神经网络从数据中学习是我们作为神经网络程序员的任务，但我们仍然有责任了解我们实际用于训练的数据的性质和历史。 1. 什么是MNIST数据集   MNIST数据集，全称是...
next(iter(dataloader))的一点点体会
LIZHEMGHONG的博客
03-15 1万+
next(iter(dataloader))返回一个batch的数据，下面是我的一点代码截图，可以看出real_batch的长度和设置的batch_size一样。 此外dataloader的长度，即len(dataloader)，就是总数据长度除以batchsize（向上取整）的大小 （这一点截图里没有体现，自己验证了的） ...
DataLoader模块实现迭代的过程简析
qq_62909870的博客
02-03 380
DataLoader类虽然只实现了__iter__方法。但是它在__iter__方法中，通过__get_iterator()返回一个_SingleProcessDataLoader对象，该对象是一个迭代器，所以DataLoader类的对象是一个可迭代对象。
记录pytorch常用操作
changreal的博客
08-04 1320
文章目录数据格式基本用法格式转换张量操作mask相关 数据格式 dtype: tensor的数据类型，总共有八种数据类型。 其中默认的类型是torch.FloatTensor,而且这种类型的别名也可以写作torch.Tensor 基本用法 格式转换 典型的tensor构建方法： torch.tensor(data, dtype=None, device=None, requires_grad=False) 从其他形式转换而来： torch.as_tensor(data, dtype=None, devic
写出基于pytorch的元学习dataloader
09-23
### 回答1： 好的，下面给出一个基于 PyTorch 的元学习 DataLoader 的示例代码： ```python import torch from torch.utils.data import Dataset, DataLoader class MetaDataset(Dataset): def __init__(self, data): self.data = data def __len__(self): return len(self.data) def __getitem__(self, idx): return self.data[idx] class MetaDataloader(DataLoader): def __init__(self, dataset, n_way, k_shot, q_query, batch_size=1, shuffle=True): self.n_way = n_way self.k_shot = k_shot self.q_query = q_query self.dataset = dataset self.classes = list(set([data[1] for data in dataset])) self.class_dict = {c: [data for data in dataset if data[1] == c] for c in self.classes} self.batch_size = batch_size self.shuffle = shuffle super().__init__(dataset, batch_size=batch_size, shuffle=shuffle) def __iter__(self): for _ in range(self.batch_size): support_set = [] query_set = [] # Sample n_way classes classes = torch.randperm(len(self.classes))[:self.n_way] for c in classes: # Sample k_shot + q_query examples per class samples = torch.randperm(len(self.class_dict[self.classes[c]]))[:self.k_shot + self.q_query] support_set.extend([(self.class_dict[self.classes[c]][i][0], c) for i in samples[:self.k_shot]]) query_set.extend([(self.class_dict[self.classes[c]][i][0], c) for i in samples[self.k_shot:]]) if self.shuffle: # Shuffle support set and query set support_set = torch.stack(support_set).split(self.k_shot) query_set = torch.stack(query_set).split(self.q_query) zipped = list(zip(support_set, query_set)) torch.shuffle(zipped) support_set, query_set = zip(*zipped) support_set = torch.cat(support_set) query_set = torch.cat(query_set) else: support_set = torch.stack(support_set).split(self.k_shot) query_set = torch.stack(query_set).split(self.q_query) yield support_set, query_set ``` 这个 MetaDataloader 类继承自 PyTorch 的 DataLoader 类，并且添加了元学习的逻辑。它接受一个数据集、一个 n_way 参数（表示每个 batch 包含几个类别）、一个 k_shot 参数（表示每个类别包含几个样本作为支持集）、一个 q_query 参数（表示每个类别包含几个样本作为查询集）、以及其他 DataLoader 支持的参数。 在每个 epoch 中，MetaDataloader 会随机选择 n_way 个类别，并从每个类别中随机选择 k_shot + q_query 个样本。它会把前 k_shot 个样本作为支持集，后 q_query 个样本作为查询集。然后，它会将这些支持集和查询集打包成一个 tuple，返回给调用者。 如果 shuffle 参数为 True，MetaDataloader 会将每个支持集和查询集打包成一个 tuple，并随机打乱它们的顺序。如果 shuffle 参数为 False，MetaDataloader 会保持它们的顺序不变。 你可以按照以下方式使用这个 MetaDataloader 类： ```python # 创建一个元数据集 data = [(torch.randn(3, 224, 224), i // 5) for i in range(100)] # 创建一个 MetaDataloader meta_dataloader = MetaDataloader(MetaDataset(data), n_way=5, k_shot=1, q_query=1, batch_size=2) # 使用 MetaDataloader 进行训练 for support_set, query_set in meta_dataloader: # 在这里进行训练 pass ``` 这个示例代码中，我们创建了一个元数据集，包含 100 个样本，每个样本由一个大小为 (3, 224, 224) 的张量和一个从 0 到 4 的标签组成。然后，我们创建了一个 MetaDataloader，它每个 batch 包含 5 个类别，每个类别包含 1 个支持集和 1 个查询集，每个 batch 包含 2 个这样的元素。最后，我们使用这个 MetaDataloader 进行训练。在训练过程中，我们会得到一个支持集和一个查询集的 tuple，可以在其中进行模型的训练和推理。 ### 回答2： 元学习是一种能够快速学习和适应新任务的机器学习算法，其核心思想是通过在多个任务上进行训练，使模型能够从过去的经验中提取出通用的知识，进而在面对新任务时能够更快速地适应和学习。 基于pytorch构建元学习dataloader需要以下步骤： 1. 创建一个自定义的数据集类（Dataset）：该类需要继承自torch.utils.data.Dataset，并实现__len__和__getitem__方法。在__getitem__方法中，根据输入的index获取一个任务样本（例如样本的输入和标签），并将其返回。 2. 创建一个元学习数据集类（MetaDataset）：该类也需要继承自torch.utils.data.Dataset，并实现__len__和__getitem__方法。在__getitem__方法中，根据输入的index获取一个元任务样本，然后根据该样本的描述信息（例如任务类别）加载对应的任务数据集，并将其返回。 3. 创建一个元学习dataloader类（MetaDataloader）：该类需要实现能够高效加载和处理元任务数据集的功能。可以使用torch.utils.data.DataLoader来处理任务数据集的加载，根据需要设置batch size、shuffle等参数。 4. 基于以上的数据集和dataloader类，可以进行元学习模型的训练和测试。在训练过程中，首先从元学习dataloader中获取一个元任务样本，然后利用该样本中的任务数据集进行模型的训练。在测试过程中，也可以通过元学习dataloader提供的接口来获取测试数据集。 总之，基于pytorch的元学习dataloader的实现需要创建自定义的数据集类、元学习数据集类和元学习dataloader类，并在训练和测试过程中使用它们来读取和处理元任务数据。通过这种方式，可以方便地加载和使用元任务数据集，从而实现元学习算法的训练和测试。
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值