Pytorch打怪路（三）Pytorch创建自己的数据集1

最新推荐文章于 2024-07-22 19:21:22 发布
最新推荐文章于 2024-07-22 19:21:22 发布
阅读量4.8w 收藏 362
点赞数 67
分类专栏： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Teeyohuang/article/details/79587125
版权

之前讲的例子，程序都是调用的datasets方法，下载的torchvision本身就提供的数据，那么如果想导入自己的数据应该怎么办呢？

本篇就讲解一下如何创建自己的数据集。

还有第二篇……Pytorch打怪路（三）Pytorch创建自己的数据集2

1.用于分类的数据集

以mnist数据集为例

这里的mnist数据集并不是torchvision里面的，而是我自己的以图片格式保存的数据集，因为我在测试STN时，希望自己再把这些手写体做一些形变，

所以就先把MNIST数据集转化成了jpg图片格式，然后做了一些形变，当然这不是重点。首先我们看一下我的数据集的情况：

如图所示，我的图片数据集确实是jpg图片

 

再看我的存储图片名和label信息的文本：

 

 

最低0.47元/天 解锁文章
Teeyohuang
关注
专栏目录
pytorch构建自己的数据集
qq_42169515的博客
07-02 2747
ImageFolder可以使用的情况是，比如猫狗识别中，train一个文件夹下已经将猫和狗分为两个不同的文件夹了，那我们可以直接使用ImageFolder来包装成数据集。 但有时候遇到的数据集是train一个文件夹下包含了所有的猫狗图片，那我们就无法使用ImageFolder函数，此时我们可以自己构造一个dataset类。 核心是getitem函数，这个函数的主要功能是根据样本的索引，返回索引对应的一张图片的图像数据X与对应的标签Y，也就是返回一个对应的训练样本。 具体而言，getitem的实现思路比较简单
pytorch自建数据集并显示（详细示例）
wqy1837154675的博客
08-14 1255
pytorch自建数据集并显示 本文建dataset类方法参考：https://blog.csdn.net/u011995719/article/details/85102770 1 代码 加载数据集 path = ‘E:/pycharmproject/dataset_read/dataset_method_2/dataset_test.txt’ 按照自己具体情况修改 import torch import torchvision #用于下载数据集，进行图像增广操作等 import matplotlib.p
Pytorch构建自己的数据集
Pr4da的博客
03-28 1756
返回的数不能大于样本的总个数，即要小于等于20。并且，当返回的数小于总样本个数的时候，是取索引的前几个数，最后的几个数不会被放入dataloader中。但是如果自己写一个类的话会高达上一些，嘻嘻。下面看看如何自己构建一个Dataset Class。，是将data[:15]个数放入dataloader，而后5个数要舍去。比如，我们可以导入Fashion-MNIST数据集。Pytorch中内置了许多数据集，我们可以从。库中没有该数据集，我们需要自己构建一个。其中一个方法就是把构建好的数据集使用。
pytorch深度学习框架基本介绍
最新发布
2301_77539454的博客
07-22 1167
PyTorch是一个开源的机器学习库，广泛用于计算机视觉和自然语言处理等应用。它由Facebook的人工智能研究团队开发，并且得到了许多研究机构和企业的支持。PyTorch的核心是一个强大的张量计算包，类似于NumPy，但是它能够利用GPU进行加速计算。PyTorch的设计哲学是简洁和直观，它提供了动态计算图（Dynamic Computation Graph），也称为自动微分系统，这使得构建和修改复杂的神经网络变得更加容易。易用性：PyTorch的API设计简洁，易于上手。灵活性。
机器学习入门（三）python生成分类数据集并存盘(读取)
weixin_42238077的博客
09-16 248
机器学习入门（三） 作者：冯德平（山野雪人） #python生成分类数据集存盘/读取 #生成blobs数据 from sklearn.datasets import make_blobs import matplotlib.pyplot as plt from pandas import DataFrame X, y = make_blobs(n_samples=150, centers=3, n_features=2,random_state=50) df = DataFrame(dict(x=X[:,0
PyTorch中定义自己的数据集
xy_optics的博客
05-09 1486
尽管PyTorch提供了许多自带的数据集，如MNIST、CIFAR-10、ImageNet等，但它们对于没有经验的用户来说，理解数据加载器的工作原理以及如何正确地配置数据加载器可能会有一定难度。用户需要了解所使用的数据集，包括数据集的内容、结构、标签等信息。对于一些复杂的数据集，用户可能需要理解数据集的结构和标签的含义。通过定义自己的数据集类，您可以更好地控制数据的加载和处理过程，提高代码的灵活性、可读性和可维护性，同时更好地满足模型训练的需求。
数据集-可用于二分类监督学习
12-12
该数据集前8行用于描述数据信息，后面的每一行为一个样本，一行有4列，前三列为特征，最后一列为对应数据标签。该数据集可用于监督学习。
Pytorch打怪路（三）Pytorch创建自己的数据集2
朝花&夕拾
08-27 1万+
      前面一篇写创建数据集的博文--- Pytorch创建自己的数据集1 是介绍的应用于图像分类任务的数据集，即输入为一个图像和它的类别数字标签，本篇介绍输入的标签label亦为图像的数据集，并包含一些常用的处理手段。比如做图像语义分割时就会用到这种数据输入方式。 1、数据集简介 以VOC2012数据集为例，图像是RGB3通道的，label是1通道的，（其实label原来是几通...
Pytorch打怪路（一）pytorch进行CIFAR-10分类（1）CIFAR-10数据加载和处理
热门推荐
朝花&夕拾
01-30 6万+
pytorch进行CIFAR-10分类（1）CIFAR-10数据加载和处理 1、写在前面的话 这一篇博文的内容主要来自于pytorch的官方tutorial，然后根据自己的理解把cifar10这个示例讲一遍，权当自己做笔记。因为这个cifar10是官方example，所以适合我们拿来先练手，至少能保证代码的正确性。 之所以第一篇pytorch的博文（其实之前还写了篇如何安装pytorch）...
从零开始的深度学习笔记（四）手把手教你用pytorch制作一个属于自己的数据集
qq_23543981的博客
04-25 2275
在使用CNN训练了MNIST数据集之后，不知道大家会不会有一种想要制作一个属于自己的数据集，并且用来训练的冲动呢？其实想要使用pytorch制作一个简单的数据集一点也不难，下面我们就一起来看看具体的实现方法吧。 在制作一个自己的数据之前，我们需要分析一下MNIST数据集，然后依葫芦画瓢，制作一个属于自己的数据集。首先，我们需要知道，MNIST数据集里面首先有图片，其次有标签。如： ...
pytorch 手写数字识别（基于mnist数据集训练，使用自己的图片数据单张测试）
gengxw96的博客
09-10 5791
使用的数据集： http://yann.lecun.com/exdb/mnist/ 训练文件，文件名train.py import torch import torch.nn as nn import torch.nn.functional as F import torch.optim as optim from torchvision import datasets, transfor...
Pytorch 神经网络—自定义数据集上实现
qq_21905401的博客
09-11 5594
第一步、导入需要的包 import os import scipy.io as sio import numpy as np import torch import torch.nn as nn import torch.backends.cudnn as cudnn import torch.optim as optim from torch.utils.data import Datase...
python构建自己的数据集_python – 创建一个循环,在数据集的所有项...
weixin_39895881的博客
11-28 119
无论如何,你应该以不同的方式做事.不幸的是,速度快得多的cKDTree没有必要的功能,但即使是其他KDTree也应该给你一个巨大的速度提升(并且更加优雅地解决它)from scipy.spatial import KDTreefrom itertools import chaintree = KDTree(circles)# unfortunatly only a list of lists, b...
python自动划分分类任务图像数据集，与 pytorch ImageFolder 对接
rosinante
11-20 1692
看了一下网上的划分图像数据集大多数都是存在一个文件里，按比例把这些图片分开。但是遇到多分类问题怎么办？划分后能否直接与pytorch的ImageFolder对接？这里我给出来我自己划分分类任务图像数据集的code，通过我的代码划分完数据集后，就可以直接与ImageFolder来对接训练了。 话不多说直接上代码： def partition_dataset(label_csv_path, root_path=None, save_path=None, shuffle=False, proportion=
【PytorchLearning】构建自己的数据集
日拱一卒，功不唐捐
01-26 5480
基于catvsdog数据集详细讲解了继承Dataset制作数据集的全流程
关于数据集通过PYTHON编程分类为训练集和测试集
qq_46314139的博客
02-23 347
数据集分类
深度学习基础：数据集及其拆分（类别标签、数据集与有监督学习、留出法、K折交叉验证、分层抽样策略、网络搜索调超参数）
GeekDongHuang的博客
05-06 758
1 鸢尾花数据集 2 数据集的数学表示 3 类别标签（ground truth、gold standard） 4 数据集与有监督学习 5 训练集、测试集的拆分 6 训练集测试集拆分（留出法） 7 K折交叉验证 8 分层抽样策略（Stratified k-fold） 9 用网络搜索来调超参数 ...
python 批量重命名数据集中的图片和标签
qq_41620742的博客
09-15 1448
python 批量重命名
PyTorch与Visdom实现CNN处理自建图像数据集教程
本文主要探讨了如何使用PyTorch与Visdom来处理和可视化自建的图片数据集，特别是用于卷积神经网络（CNN）的训练。内容包括环境配置、数据下载、数据预处理以及使用ImageFolder加载数据的步骤。 在进行深度学习项目...
评论 39
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值