Pytorch创建自己的数据集(一)

最新推荐文章于 2024-07-27 18:52:58 发布
最新推荐文章于 2024-07-27 18:52:58 发布
阅读量1.9w 收藏 361
点赞数 61
分类专栏： 深度学习 文章标签： pytorch 神经网络 机器学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44698328/article/details/112390485
版权

定义自己的数据集


尽管torchvision已经为我们准备了很多的数据集，直接通过如下语句便可以随便调用。但是有时我们要处理自己的数据集，该怎么办呢？ 

mnist_train = torchvision.datasets.MNIST(root='~/Datasets/MNIST', train=True, download=True, transform=transforms.ToTensor())

1、Dataset+DataLoader实现自定义数据集读取方法

创建自己的数据集需要继承父类torch.utils.data.Dataset，同时需要重载两个私有成员函数：def __len__(self)和def __getitem__(self, index) 。 def __len__(self)应该返回数据集的大小；def __getitem__(self, index)接收一个index，然后返回图片数据和标签，这个index通常指的是一个list的index，这个list的每个元素就包含了图片数据的路径和标签信息。如何制作这个list呢，通常的方法是将图片的路径和标签信息存储在一个txt中，然后从该txt中读取。

整个流程如下：
创建相应的txt文件
创建__init__函数进行参数和函数初始化以及创建list
将list传入__getitem__调用index对应的一张图片进行处理并返回处理后的图片与对应的label
__len__返回数据集大小
创建实例并将其导入DataLoader中进行设置
1.1、整体框架
class MyDataset(torch.utils.data.Dataset):#需要继承torch.utils.data.Dataset
    def __init__(self):
        #对继承自父类的属性进行初始化(好像没有这句也可以？？)
        super(MyDataset,self).__init__()
        # TODO
        #1、初始化一些参数和函数，方便在__getitem__函数中调用。
        #2、制作__getitem__函数所要用到的图片和对应标签的list。
        #也就是在这个模块里，我们所做的工作就是初始化该类的一些基本参数。
        pass
    def __getitem__(self, index):
        # TODO
        #1、根据list从文件中读取一个数据（例如，使用numpy.fromfile，PIL.Image.open）。
        #2、预处理数据（例如torchvision.Transform）。
        #3、返回数据对（例如图像和标签）。
        #这里需要注意的是，这步所处理的是index所对应的一个样本。
        pass
    def __len__(self):
        #返回数据集大小
        return len()
1.2、例子讲解

给出一个最简单的例子，来理解整个过程。

第一步：先收集几张图片作为自己的数据集，然后自己手动创建一个txt文件(关于txt文件，通过python和matlab可以很容易的创建)储存图片对应的label。

图片文件如下
在这里插入图片描述

相应的txt文件如下

在这里插入图片描述

第二步：创建自己的数据集类。

import torch
import torchvision
from torchvision import transforms
from PIL import Image
from torch.utils.data import Dataset
from torch.utils.data import DataLoader

#路径是自己电脑里所对应的路径
datapath = r'E:\Python\DeepLearning\Datasets\testdata'
txtpath = r'E:\Python\DeepLearning\Datasets\testdata\label.txt'

class MyDataset(Dataset):
    def __init__(self,txtpath):
        #创建一个list用来储存图片和标签信息
        imgs = []
        #打开第一步创建的txt文件，按行读取，将结果以元组方式保存在imgs里
        datainfo = open(txtpath,'r')
        for line in datainfo:
            line = line.strip('\n')
            words = line.split()
            imgs.append((words[0],words[1]))

        self.imgs = imgs
	#返回数据集大小
    def __len__(self):
        return len(self.imgs)
	#打开index对应图片进行预处理后return回处理后的图片和标签
    def __getitem__(self, index):
        pic,label = self.imgs[index]
        pic = Image.open(datapath+'\\'+pic)
        pic = transforms.ToTensor()(pic)
        return pic,label
#实例化对象
data = MyDataset(txtpath)
#将数据集导入DataLoader，进行shuffle以及选取batch_size
data_loader = DataLoader(data,batch_size=2,shuffle=True,num_workers=0)
#Windows里num_works只能为0，其他值会报错

经过以上两步处理，就获得了可以输入到神经网络里的自己的数据集了。我们可以查看一下我们所获得的data_loader:

for pics,label in data_loader:
    print(pics,label)

输出如下：

tensor([[[[0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          ...,
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.]]],


        [[[0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          ...,
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.]]]]) ('4', '2')
tensor([[[[0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          ...,
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.]]],


        [[[0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          ...,
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.]]]]) ('2', '1')
tensor([[[[0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          ...,
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.]]],


        [[[0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          ...,
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.]]]]) ('0', '1')
tensor([[[[0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          ...,
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.]]],


        [[[0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          ...,
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.]]]]) ('4', '0')
tensor([[[[0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          ...,
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.]]],


        [[[0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          ...,
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.]]]]) ('3', '3')

以上结果显示，data_loader这个迭代器里存储的是每2个一组(batch_size)的图片像素信息以及对应的标签信息，也就是我们后续要导入到神经网络里的数据。

以上操作只是一个最简单的用来加深理解的例子，实际应用时会比这复杂很多，比如图像的渲染、变换等，但是基本流程都是一样的。

1.3、txt文件的生成

这部分留到以后再添加进来
pass

2、ImageFolder+DataLoader实现本地数据导入

在pytorch中提供了torchvision.datasets.ImageFolder让我们训练自己的图像。ImageFolder假设所有的文件按文件夹保存，每个文件夹下存储同一个类别的图片，文件夹名为类名，其构造函数如下：

ImageFolder(root, transform=None, target_transform=None, loader=default_loader)

它主要有四个参数：
root：在root指定的路径下寻找图片
transform：对loader读取图片的返回对象进行转换操作(ToTensor等)
target_transform：对label的转换
loader：给定路径后如何读取图片，默认读取为RGB格式的PIL Image对象

文件夹严格按照如下方式保存：

    .
    ├──train
    |   ├──类别1
    |   |   ├──*.jpg
    |   |   ├──*.jpg
    |   |   └──...
    |   ├──类别2
    |   |   ├──*.jpg
    |   |   ├──*.jpg
    |   |   └──...
    |   └──...
    └──test  
        ├──类别1
        |   ├──*.jpg
        |   ├──*.jpg
        |   └──...
        ├──类别2
        |   ├──*.jpg
        |   ├──*.jpg
        |   └──...
        └──...

实现代码如下

transform = transforms.ToTensor()
root = r'E:\Python\DeepLearning\Datasets\mymnist\train'
# 使用torchvision.datasets.ImageFolder读取数据集 指定train 和 test文件夹
train_data = torchvision.datasets.ImageFolder(root, transform=transform)
train_iter = torch.utils.data.DataLoader(train_data, batch_size=256, shuffle=True, num_workers=0)

test_data = torchvision.datasets.ImageFolder(root, transform=transform)
test_iter = torch.utils.data.DataLoader(test_data, batch_size=256, shuffle=True, num_workers=0)

参考资料
https://blog.csdn.net/sinat_42239797/article/details/90641659

积极生活的小谢
关注
专栏目录
pytorch构建自己的数据集
qq_42169515的博客
07-02 2747
ImageFolder可以使用的情况是，比如猫狗识别中，train一个文件夹下已经将猫和狗分为两个不同的文件夹了，那我们可以直接使用ImageFolder来包装成数据集。 但有时候遇到的数据集是train一个文件夹下包含了所有的猫狗图片，那我们就无法使用ImageFolder函数，此时我们可以自己构造一个dataset类。 核心是getitem函数，这个函数的主要功能是根据样本的索引，返回索引对应的一张图片的图像数据X与对应的标签Y，也就是返回一个对应的训练样本。 具体而言，getitem的实现思路比较简单
pytorch构建自己数据集合
love_data_scientist的博客
08-15 422
使用pytorch构建自己的训练和测试数据集合，涉及自己数据处理类，数据变为tensor，数据分割等，为后续的训练准备了训练数据和测试数据 import torch from torch.utils.data import DataLoader, Dataset,TensorDataset,random_split import sys class label_featureDataS...
PyTorch中定义自己的数据集
xy_optics的博客
05-09 1477
尽管PyTorch提供了许多自带的数据集，如MNIST、CIFAR-10、ImageNet等，但它们对于没有经验的用户来说，理解数据加载器的工作原理以及如何正确地配置数据加载器可能会有一定难度。用户需要了解所使用的数据集，包括数据集的内容、结构、标签等信息。对于一些复杂的数据集，用户可能需要理解数据集的结构和标签的含义。通过定义自己的数据集类，您可以更好地控制数据的加载和处理过程，提高代码的灵活性、可读性和可维护性，同时更好地满足模型训练的需求。
PyTorch 学习笔记（一）：让PyTorch读取你的数据集
热门推荐
人工智能技术学习与分享
12-19 6万+
本文截取自《PyTorch 模型训练实用教程》，获取全文pdf请点击：https://github.com/tensor-yu/PyTorch_Tutorial 转载请注明出处：
pytorch-训练自定义数据集实战
最新发布
wyw0000的博客
07-27 563
pytorch训练自定义数据集
pytorch实现建立自己的数据集(以mnist为例)
09-18
今天小编就为大家分享一篇pytorch实现建立自己的数据集(以mnist为例)，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Pytorch制作自己的数据集
Vertira的博客
10-23 7379
Pytorch制作自己的数据集
【PytorchLearning】构建自己的数据集
日拱一卒，功不唐捐
01-26 5480
基于catvsdog数据集详细讲解了继承Dataset制作数据集的全流程
使用Pytorch框架自己制作做数据集进行图像分类（一）
zwy_697198的博客
03-18 2万+
网上有很多直接利用已有数据集（如MNIST， CIFAR-10等），直接进行机器学习，图像分类的教程。但如何自己制作数据集，为图像制作相应标签等的教程较少。故写本文，分享一下自己利用Pytorch框架制作数据集的方法技巧。 开发环境： Pycharm + Python 3.7.9 torch 1.10.2+cu102 torchvision 0.11.3+cu102 ......
pytorch中如何构建自己的数据集
csdntcl的博客
11-02 1554
第一步，读取图片并打标签 用cv读取，经过基本的预处理（比如resize）后，转成pimg def generate_dataset(dir, set_label): """ set_label should be 'torch.tensor([1])' if two-catogory and positive sample """ train_data = [] labels = [] for file_name in os.listdir(dir):
pytorch练手数据集
01-19
本数据集是为初学者或有经验的PyTorch用户准备的，旨在提供一个实践平台，加深对PyTorch的理解。 在数据集中，通常有两个主要部分：`train`和`val`。`train`目录包含了用于训练模型的数据，而`val`（验证）目录则...
PyTorch加载自己的数据集实例详解
09-17
PyTorch作为一款强大的开源机器学习框架，提供了丰富的API来帮助用户处理数据，特别是针对自定义数据集的加载与处理。本文将详细介绍如何在PyTorch中加载自定义数据集，并通过具体的实例代码进行演示。 #### 二、...
pytorch加载自己的图像数据集实例
09-16
在PyTorch中，加载自定义的图像数据集是一个常见的任务，特别是在进行深度学习研究时。这个过程涉及几个关键步骤，包括数据预处理、定义数据集类以及使用数据加载器来批量处理数据。以下是对标题和描述中所提及知识...
pytorch学习教程之自定义数据集
12-16
在本教程中，我们将探讨如何在PyTorch环境中创建自定义数据集，包括数据的组织、数据集类的定义以及使用`DataLoader`进行批量加载。 首先，数据的组织通常是基于项目的结构，例如： ``` data |-- test | |-- dog |...
Pytorch 创建自定义数据集
96夜猫子
04-26 414
以二分类为例子,创建一个简单的Pytorch训练数据集 以下是我的生成结果: 为了满足pytorch 模型对数据集的规范,需要按照官方要求制定符合要求的数据集, 分别重写__init__(self), __ getitem__(self, index), __ len__(self)方法: 到此,一个Pytorch 的自定义数据集就制作完成了.
Pytorch构建自己的数据集
Pr4da的博客
03-28 1753
返回的数不能大于样本的总个数，即要小于等于20。并且，当返回的数小于总样本个数的时候，是取索引的前几个数，最后的几个数不会被放入dataloader中。但是如果自己写一个类的话会高达上一些，嘻嘻。下面看看如何自己构建一个Dataset Class。，是将data[:15]个数放入dataloader，而后5个数要舍去。比如，我们可以导入Fashion-MNIST数据集。Pytorch中内置了许多数据集，我们可以从。库中没有该数据集，我们需要自己构建一个。其中一个方法就是把构建好的数据集使用。
数据集制作_轻松学Pytorch自定义数据集制作与使用
weixin_33567029的博客
01-15 442
点击上方蓝字关注我们微信公众号：OpenCV学堂关注获取更多计算机视觉与深度学习知识大家好，这是轻松学Pytorch系列的第六篇分享，本篇你将学会如何从头开始制作自己的数据集，并通过DataLoader实现加载。本文以人脸Landmard五点的数据集标定与之制作为例来说明pytorch中如何实现自定义数据集读取与加载。数据来源首先要实现人脸landmark五点的数据标定，就得找到人脸数据...
pytorch自定义数据集
chase
03-06 3059
pytorch自定义数据集
Pytorch创建自己的数据集的代码
07-08
创建自己的数据集代码可以使用 PyTorch 的 Dataset 和 DataLoader 类来实现。下面是一个简单的示例代码，展示了如何创建一个自定义的数据集类： ```python import torch from torch.utils.data import Dataset, ...
评论 13
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值