目录
在学习深度学习的时候,我们需要考虑如何去处理数据去训练我们的模型,pytorch为我们提供了Dataset和DataLoader两个类来对数据进行处理,前者作用是提供了一种方式来获取数据及其label,后者的作用是为网络提供不同的数据形式。本文主要讲第一个类——Dataaet.
一、Dataset的作用
如图,我们举个例子,我们这里有很多和数据(左边每一个图形代表一个数据),其中我们需要获取圆形的数据,通过Dataset,我们可以将所有的圆拿出来,放到我们的数据集当中,并且每一个数据都有自己的label,比如说红色、绿色。并且数据集会将每一个数据进行编号,所以我们可以归纳出Dataset的作用:
1.获取每一个数据以及其label
2.告诉我们在数据集中有多少个数据
二、Dataset的使用
1.数据集下载
在使用Dataset之前,建议大家先去下载一个数据集,下面提供一个国内的数据集下载地址:
数据集下载https://aistudio.baidu.com/datasetoverview/2/1
下载解压后放在项目文件夹下就行。
2.类的定义
我们创建一个新文件,起名为demo1.py
导入工具:
from torch.utils.data import Dataset
from PIL import Image
import os
我们通过查看文档可知,所有的数据集都应该继承Dataset类,并且子类都必须重写__getitem__方法,该方法的主要作用是获取每一个数据以及其label,也可以选择性重写__len__方法,获取数据集的大小。
所以我们定义一个类MyData
MyData(Dataset):
#构造方法,将文件夹名称以及子文件夹传入
def __init__(self,root_dir,label_dir):
self.root_dir = root_dir
self.label_dir=label_dir
self.path=os.path.join(self.root_dir+self.label_dir)
self.Img_path=os.listdir(self.path)
#获取数据集中第idx个数据以及其label,我们可以通过索引获取数据对象
def __getitem__(self, inx):
Img_name = self.Img_path[inx]
Img_item_path = os.path.join(self.root_dir,self.label_dir,Img_name)
img = Image.open(Img_item_path)
label = self.label_dir
return img,label
#获取数据集的长度
def __len__(self):
return len(self.Img_path)
3.测试
我们通过以下代码来进行演示:
在我的项目中,有flowers这个数据集,然后下面又分了几个文件夹代码不同的花的数据集
我们想获取第4张雏菊的照片,我们的根数据集是flowers,我们就可以创建daisy_label数据集对象。
root_dir = "folwers\\"#表示根目录为flowers,这里用两杠是因为要构成转义字符
daisy_dir = "daisy" #表示我们需要的数据在“daisy”文件夹下面
daisy_dataset = MyData(root_dir,daisy_dir)
然后,我们获取第4个数据和它的label并将其展现出来
img,lebel = daisy_dataset.__getitem__(4)
img.show()
print(lebel)
我们得到以下运行结果:
成功获取到了目标数据和它的label。
三、源码展示
MyData(Dataset):
#构造方法,将文件夹名称以及子文件夹传入
def __init__(self,root_dir,label_dir):
self.root_dir = root_dir
self.label_dir=label_dir
self.path=os.path.join(self.root_dir+self.label_dir)
self.Img_path=os.listdir(self.path)
#获取数据集中第idx个数据以及其label,我们可以通过索引获取数据对象
def __getitem__(self, inx):
Img_name = self.Img_path[inx]
Img_item_path = os.path.join(self.root_dir,self.label_dir,Img_name)
img = Image.open(Img_item_path)
label = self.label_dir
return img,label
#获取数据集的长度
def __len__(self):
return len(self.Img_path)
root_dir = "flowers\\"
daisy_label_dir = "daisy"
daisy_dataset = MyDate(root_dir,flowers_label_dir)
img,lebel = daisy_dataset.__getitem__(4)
img.show()
print(lebel)