深度学习（PyTorch）——加载数据初认识与实战操作

B站UP主“我是土堆”视频内容

pytorch中涉及到读取和加载数据的两个类分别是Dataset和Dataloader。

下图中，不同颜色的圈圈假设为垃圾（数据），不同颜色为不同的垃圾数据

Dataset主要作用是提取出可回收垃圾（我们需要的数据），并且给每一个具体垃圾（数据）进行编号，同时可以获取该数据的标签。 

Dataloader可以对Dataset里的可回收垃圾进行打包，比如送进网络时候，不是一个一个送进去，而是有一个batch_size的批量大小送进去网络训练。比如下图中，对Dataset里的0123数据进行打包。

实战操作如下：

打开pycharm，输入from torch.utils.data import Dataset，相当于从torch这个大工具箱里面的常用工具区里取出需要的工具，用help（Dataset）查看一下官方文档解释

Dataset是一个抽象类，所有的数据集都需要去继承这个类，所有的子类都须重写__getitem__方法，这个方法主要是获取每个数据及其对应的标签，还可以选择去重写__len__方法，可以获得数据集的大小。

如何获取图片的绝对地址和相对地址？看下图

copy path是复制数据的绝对路径，copy relative path是复制数据的相对路径，一般情况下用相对路径比较多一些

 在window下，绝对路径需要用2个斜杠（\），如下图所示

img=Image.open(img_path)可以获取该路径img_path下的数据信息，img.size可以查看图片的大小，如下图所示 

img.show（）可以展示该图片

os.listdir（dir_path）是把该路径下的文件名变成一个列表 ,如下图所示

 os.path.join（）可以把输入的上下级路径拼接起来

类当中使用self的意义：一个函数当中的变量是不能传递给另一个函数的，而使用self的话，可以把该函数的变量给当前类其他函数使用，相当于指定了一个类当中的全局变量，例如self.root_dir=root_dir，此时的self.root_dir便是当前类的全局变量

train_dataset = ants_dataset + bees_dataset表示蚂蚁数据集加上蜜蜂数据集，可以把两个小的数据集进行拼接，单独运行该程序可以得到如下结果

0~123均为蚂蚁数据，其余的为蜜蜂数据

程序如下：

from torch.utils.data import Dataset
import os
from PIL import Image

class MyData(Dataset):
    def __init__(self, root_dir, label_dir):
        self.root_dir=root_dir
        self.label_dir=label_dir
        self.path=os.path.join(self.root_dir,self.label_dir)
        self.img_path=os.listdir(self.path)

    def __getitem__(self, idx):
        img_name =self.img_path[idx]
        img_item_path=os.path.join(self.root_dir,self.label_dir,img_name)
        img=Image.open(img_item_path)
        label=self.label_dir
        return img,label
    def __len__(self):
        return len(self.img_path)


root_dir="dataset/train"
ant_label_dir="ants"
bees_label_dir="bees"
ants_dataset = MyData(root_dir,ant_label_dir)
bees_dataset = MyData(root_dir,bees_label_dir)

train_dataset = ants_dataset + bees_dataset