【Pytorch】DataLoader和 DataSet快速入门

在深度学习中，对数据进行预处理时候，当数据量比较大的时候，一般需要将数据集划分成多个batch。
这时可以通过实现一个torch自带的DataSet类，来完成常见的batch划分以及shuffle操作。

1. 导入依赖

import torch
from torch.utils.data import Dataset,DataLoader,TensorDataset

2. 实现DataSet类

只需要重写__getitem__和__len__这两个方法即可。

class myDataSet(Dataset):
    def __init__(self,x_data,y_data):
        self.x_data = x_data
        self.y_data = y_data
        self.len = x_data.shape[0]
    def __getitem__(self,index):
        return self.x_data[index], self.y_data[index]
    def __len__(self):
        return self.len

创建x, y两个数据，然后传入刚才写的myDataSet类中

通过上图程序运行结果可以发现，我们实现的类myDataSet，会将传入的相同维度的x,y合并成一个‘键值对’。

3. DataLoader类

Dataset是一个包装类，用来将数据包装为Dataset类，然后传入DataLoader中，我们再使用DataLoader这个类来更加快捷的对数据进行操作。

DataLoader是一个比较重要的类，它为我们提供的常用操作有：batch_size(每个batch的大小), shuffle(是否进行shuffle操作), num_workers(加载数据的时候使用几个子进程)

train_data = DataLoader(dataset= my_dataset, shuffle=True, batch_size=25)

这里我们设置shuffle为True意思是随机加载，batch_size为25，一共250个输入，所以分为10个batch，然后遍历一下train_data看看封装的结果。

for epoch in range(2):
    for index, item in enumerate(train_data):
        print('epoch {} , batch {}; train data shape is {}'.format(epoch,index, item[0].shape ))

如上图所示，在2个epoch中每个epoch都有10个batch