如何创建pytorch的data loader类型，以cifar_10本地文件读取和mnist为例

最新推荐文章于 2025-01-10 21:10:15 发布
最新推荐文章于 2025-01-10 21:10:15 发布
阅读量1.7k 收藏 6
点赞数
分类专栏： Python 文章标签： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41592575/article/details/97814437
版权
本文介绍了如何使用PyTorch创建数据加载器，特别是针对CIFAR10和MNIST数据集。重点在于理解`__init__`, `__getitem__`和`__len__`这三个关键方法，其中`__getitem__`用于获取数据特征和标签，并在此处进行tensor转换。文中提供了本地读取CIFAR10和MNIST的实现示例，帮助读者掌握自定义数据加载器的方法。" 108256077,9698099,Java实现复制多级文件到指定目录,"['Java开发', '文件操作', 'IO流']
摘要由CSDN通过智能技术生成

最近一直想学pytorch，那么肯定遇到的第一个问题就是data loader的事了，其实想要将数据做成data loader型，把握住一个类，三要素：

  • Class CIFAR10(data.Dataset):#data.Dataset是pytorch内置函数，原理我没深究，似乎定义类得必须这样写

def __init__

def __getitem__

def __len__

其中，def __getitem__（）最重要，得到数据特征和标签，return的就是你要的特征和标签,所以data loader的tensor转换都必须在这里完成。

无论data loader里面多复杂，记住有用的就三个，长度（__len__）,特征，标签（__getitem__（）函数中return的那两个）

因为这次学习得用本地读取cifar，所以专门针对cifar写了一个data loader的封装，针对性比较强，普适性的话最下面那个感觉很好。不过建议结合起来看，这样创建自己的data loader就比较方便了。

imp
最低0.47元/天 解锁文章
系统学习Pytorch笔记三：Pytorch数据读取机制(DataLoader)与图像预处理模块(transforms)
Miracle8070
04-17 7万+
Pytorch官方英文文档：https://pytorch.org/docs/stable/torch.html? Pytorch中文文档：https://pytorch-cn.readthedocs.io/zh/latest/ 1. 写在前面 疫情在家的这段时间，想系统的学习一遍Pytorch基础知识，因为我发现虽然直接Pytorch实战上手比较快，但是关于一些内部的原理知识其实并不是太懂，这样...
pytorch读取MNIST数据集并显示
wqy1837154675的博客
08-14 7394
pytorch读取MNIST数据集并显示 代码： import torch import torchvision import matplotlib.pyplot as plt #用于显示图片 import os os.environ[“KMP_DUPLICATE_LIB_OK”]=“TRUE” #忽略警告 import warnings warnings.filterwarnings(‘ignore’) #选择运行设备 device = torch.device(‘cuda’ if torch.cuda.
PyTorch中DataLoader介绍
u012374012的专栏
10-28 1551
按照上图的顺序，本小节就来到pytorch数据加载最核心模块——DataLoader。从以上可以看到，DataLoader类有14个变量，因此成为最核心模块，一点不为过。DataLoader功能繁多，这里根据官方文档可总结为以下五大功能：支持两种形式数据集读取：map-style and iterable-style datasets自定义采样策略：customizing data loading order自动组装成批数据：automatic batching。
聊聊 Pytorch 的 dataloader
idol24的博客
07-01 376
点击上方“机器学习与生成对抗网络”，关注星标获取有趣、好玩的前沿干货！来源：知乎—Mario 编辑 人工智能前沿讲习地址：https://zhuanlan.zhihu.com/p/1172...
P2：使用pytorch实现CIFAR10彩色图片识别
最新发布
apwpasy的博客
01-10 429
今天的pytorch的基本用法有：1.torch.utils.data.DataLoader()加载数据2.构建简单的CNN网络对于一般的CNN网络来说，都是由特征提取网络和分类网络构成，其中特征提取网络用于提取图片的特征，分类网络用于将图片进行分类。torch.nn.Conv2d()详解关键参数说明：● in_channels ( int ) – 输入图像中的通道数● out_channels ( int ) – 卷积产生的通道数。
PyTorch——Dataloader使用
m0_73991249的博客
08-21 1295
前面我在写PyTorch的第一篇文章里讲过Dataset是啥，Dataset就是将数据集分类，并且分析出这些数据集它的位置哪、大小多少、这个数据集一共有多少数据......等等信息那么把Dataset比作一副扑克牌，那么如果你就让这副牌放在桌子那不去取牌，那你怎么打牌？Dataloader就是做【取牌】这个操作，就是去【读取数据】
Pytorch中的数据加载
weixin_43498449的博客
05-26 1732
目录 1. 模型中使用数据加载器的目的 2. 数据集类 2.1 Dataset基类介绍 2.2 数据加载案例 3. 迭代数据集 4. pytorch自带的数据集 4.1 torchversion.datasets 4.2 MNIST数据集的介绍 1. 模型中使用数据加载器的目的 在前面的线性回归模型中，我们使用的数据很少，所以直接把全部数据放到模型中去使用。 但是在深度学习中，数据量通常是都非常多，非常大的，如此大量的数据，不可能一次性的在模型中进行向前的计算和反向传播，经常
PyTorch概述（四）---DataLoader
newsymme的博客
02-24 2185
windows或者MacOS上，spawn()是默认的multiprocessing启动方法；UNix上，fork() 是默认的multiprocessing启动方法；
Pytorch学习：图像分类入门！使用CIFAR-10数据集，完整地创建深度神经网络进行训练、测试并保存和读取
鳄鱼的博客
07-16 4385
1. 导入Pytorch以及相关包 本文使用pytorch=1.5.1+cuda10.1 import torch import torch.nn as nn import torch.nn.functional as F import torchvision import torchvision.transforms as transforms import torch.optim as optim import time,os torch.nn是 torch.nn.functional中 torchv
使用pytorch手动加载mnist、cifar10数据集
RoyLi
02-20 2422
这两天在某个平台上白嫖GPU资源，奈何这个平台不支持用torchvision下载数据集，于是只能用自己电脑下载好数据之后上传再自己手动DIY加载数据集。 参考链接： 加载mnist数据集 加载cifar10数据集 加载mnist数据集并实现简单的全连接层 import numpy as np import pandas as pd from torchvision import datasets,transforms from torch.utils.data import DataLoader,Dat
PyTorch快速入门教程【小土堆】-DataLoader的使用
weixin_42182290的博客
05-11 1930
PyTorch快速入门教程【小土堆】-DataLoader的使用
【单点知识】基于实例详解PyTorch中的DataLoader类
m0_49963403的博客
03-23 4531
详解用于深度学习训练数据加载的DataLoader类
pytorch快速入门（四）Dataloader（）
rensweet的博客
12-28 899
一、查看官方指南 pytorch官方网站 二、代码运行 1、pycharm中新建python文件，输入以下代码 import torchvision from torch.utils.data import DataLoader from torch.utils.tensorboard import SummaryWriter #准备的测试数据集 test_set = torchvision.datasets.CIFAR10(root="E:/PycharmProjects/Pytoch_learnin
Pytorch：数据读取机制（DataLoader与Dataset）
weixin_47255403的博客
12-04 3318
自定义类"""rmb面额分类任务的Dataset:param data_dir: str, 数据集所在路径:param transform: torch.transform，数据预处理"""self.data_info = self.get_img_info(data_dir) # data_info存储所有图片路径和标签，在DataLoader中通过index读取样本img = self.transform(img) # 在这里做transform，转为tensor等等# 遍历类别。
pytorch学习笔记（一）：Dataset和DataLoader
qq_38432089的博客
09-16 1263
参考：https://blog.csdn.net/zw__chen/article/details/82806900 一、DataLoader 1、DataLoader 是 torch 给你用来包装你的数据的工具. 所以你要将自己的 (numpy array 或其他) 数据形式装换成 Tensor, 然后再放进这个包装器中. 2、Dataset是一个抽象类，不能实例化，要先继承。DataLoader可以直接实例化 3、Dataset有内置数据集： 这些内置数据集有对应的__getitem__()和__l
CIFAR10数据集使用笔记
weixin_43333260的博客
10-08 2133
CIFAR10数据集 1. 数据集下载并转换为张量 train_set = torchvision.datasets.CIFAR10(root=data_path, train=True, download=True, transform=transforms.Compose([ transforms.ToTensor()
python类init函数及call函数简单用法
lzz555517的博客
08-24 508
python类init函数及call函数简单用法 本博客用于本人自身学习及记录，如有错误，欢迎指正~ init函数相当于构造函数，下面是ResNet一个小模块类的init函数 def __init__(self, filter_num, stride=1): super(BasicBlock, self).__init__() self.conv1 = layers.Conv2D(filter_num, (3, 3), strides=stride, padding
PytorchCNN项目搭建3--- Cifar10数据集的处理
AIChemist
02-07 1448
Cifar10数据集处理PytorchCNN项目搭建3--- Cifar10数据集的处理前期准备：1. Cifar10数据集从官网下载2. 把训练集转换为图片， 并把图片路径及名称保存到txt文件中，还把训练集按照一定的概率分为训练数据集和验证数据集3. 测试集test_dataset也做同样的处理4. 然后将图片转换成数据集，继承torch.utils.data.Dataset的类进行书写5. 对图像数据进行处理参考文献 PytorchCNN项目搭建3— Cifar10数据集的处理 整体的代码在我的git
pytorch_加载数据集
ahao6666666的博客
02-08 213
pytorch学习第五集 1 术语 scalar 标量 vector 向量 matrix 矩阵 张量就是n维数组 秩，轴，形状 2 tensor 的 构造方式 import torch import numpy as np data = np.array([1,2,3]) print(torch.Tensor(data)) # 副本 print(torch.tensor(data)) # 副本 print(torch.as_tensor(data)) # 视图 print(torch.fro
帮我用pytorch写一个读取MNIST数据集的标签的代码，分测试集和数据集
05-28
上面的代码中，我们使用了 PyTorch 内置的 MNIST 数据集，并定义了数据集变换，使数据进行了归一化处理。然后使用 DataLoader 定义数据加载器，可以方便地对数据进行批量处理。最后，我们读取数据集的标签，分别存储...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值