Torchvison数据集dataset和dataloader使用

Torchvison-dataset的使用

这里介绍的时是Torchvision中关于数据库Dataset的一些使用方法。
首先我们可以在Pytorch观望中看到Torchvision中的很多数据集：

以CIFAR为例，点进去后可以了解到更多关于该数据集的一些信息：

在这里介绍了调用该数据库时的一些参数的设置及其功能。

Dataset的使用：

首先，我们需要导入torchvision库，为后面调用数据库提供库，同时导入SummaryWriter库，使用tersorboard可视化过程：

import  torchvision
from torch.utils.tensorboard import SummaryWriter

我们定义train_set用于调用CIFAR10数据集：
torchvision.datasets.CIFAR10()

train_set = torchvision.datasets.CIFAR10(root='./dataset_learn',train=True,transform=dataset_transform,download=True)

①root=’'为该数据集保存的目录位置
②train为True代表该数据集用于训练，否则用于测试集
③transform为用于使用的将PIL图像数据转化为tensor类型的函数操作，可以自己定义操作内容（可以参照官方文档：transform (callable, optional) – A function/transform that takes in an PIL image and returns a transformed version. E.g, transforms.RandomCrop）
④download为True代表如果该数据集不存在的话，自动下载;数据集存在的话不下载

用一个for循环将数据集中的前10个样本展示在tersorboard上：

writer = SummaryWriter("p10")
for i in range(10):
    img,target=train_set[i]
    writer.add_image('dataset',img,i)

tensorboard上展示结果为：

完整实现代码：

import  torchvision
from torch.utils.tensorboard import SummaryWriter
#定义dataset_transform，完成将PIL文件转化为tensor类型的compose()
dataset_transform = torchvision.transforms.Compose([
    torchvision.transforms.ToTensor()
])
train_set = torchvision.datasets.CIFAR10(root='./dataset_learn',train=True,transform=dataset_transform,download=True)

writer = SummaryWriter("p10")
for i in range(10):
    img,target=train_set[i]
    writer.add_image('dataset',img,i)

writer.close()

Data Loader的使用

首先导入模块：

import torchvision
#准备的测试集
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter

使用上文中的CIFAR数据集：

test_data = torchvision.datasets.CIFAR10(root='./dataset_learn',train=False,transform=torchvision.transforms.ToTensor())

使用DataLoader()函数：

test_loader = DataLoader(dataset=test_data,batch_size=64,shuffle=True,num_workers=0,drop_last=False)

在此处各个参数所代表的意思为：
①dataset:使用的目标数据集
②batch_size：指的是每一个batch加载多少个样本
③shuffle：如果为True的话，表示在每一个epoch进行时都将数据进行打乱
④num_works:表示的是在加载过程中yong用多少个子进程进行加载数据
⑤drop_last：设置为Ture时 如果最后剩余的样本个数少于batch_size不足以分为一个组时，就会把剩余的样本数舍弃

使用for循环将数据集中的样本按照batch_size=64进行分组，并将其展示在tensorboard上：

writer = SummaryWriter('dataloader')
for epoch in range(2):
    step = 0
    for data in test_loader:
        imgs,targets = data
        writer.add_images('epoch:{}'.format(epoch),imgs,step)
        step=step+1

writer.close()

结果展示👇：

我们通过对比来了解shuffle参数的作用：
此时我们将shuffle=True，代表着每次新的epoch，也就是每次新的训练时，都会将原始数据集的顺序打乱，我们可以看见epoch0和epoch1在同一个step下的样本顺序已经发生改变：

我们通过对比来了解drop_last参数的作用：
drop_last：设置为Ture时 如果最后剩余的样本个数少于batch_size不足以分为一个组时，就会把剩余的样本数舍弃.
当我们将参数设置False时，第156步迭代时样本图片数量已经不够batch_size 64个，所以只显示了两行16个样本数量👇：

当我们将drop_last参数设置为True时，再次运行，我们发现最后一步不满足batch_size大小的图片被舍弃，所以只存在155个step👇：

完整实现代码：

import torchvision
#准备的测试集
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter

test_data = torchvision.datasets.CIFAR10(root='./dataset_learn',train=False,transform=torchvision.transforms.ToTensor())

test_loader = DataLoader(dataset=test_data,batch_size=64,shuffle=True,num_workers=0,drop_last=True)

'''drop_last 设置为Ture时  如果最后剩余的样本个数少于64不足以分为一个组时，就会把剩余的样本数舍弃 '''
'''shuffle  设置为Ture时   每次选取的样本将会被打乱  '''

writer = SummaryWriter('dataloader')
for epoch in range(2):
    step = 0
    for data in test_loader:
        imgs,targets = data
        writer.add_images('epoch:{}'.format(epoch),imgs,step)
        step=step+1

writer.close()

总结：

Dataset数据库调用的核心语句（参数解释在上面）：

import  torchvision

train_set = torchvision.datasets.CIFAR10(root='./dataset_learn',train=True,transform=dataset_transform,download=True)

Dataloader数据库调用的核心语句（参数解释在上面）：

import torchvision
from torch.utils.data import DataLoader

test_loader = DataLoader(dataset=test_data,batch_size=64,shuffle=True,num_workers=0,drop_last=False)