DataLoader 基础学习笔记

在自学词向量时，遇到了DataLoader这个知识点，最开始不太理解，第二次学习的时候渐渐明白了它的作用。记录一下，给相似的小白学习用。

1、DataLoader的作用

DataLoader 的作用是将数据集（Dataset）自动形成一个一个的Batch，以用于批处理使用。建立DataLoader需要先建立数据集。

相关包的导入

import torch
import torch.utils.data as tud;

2、DataSet的建立

2.1 直接采用 torch.utils.data中带有的DataSet建立方式

 

 举例说明：建立一个完全为Tensor的数据·DataSet

x = torch.linspace(1,10,10);
y = torch.linspace(10,1,10);
torch_dataset = tud.TensorDataset(x,y);

 

2.2 根据自己需要建立DataSet

继承原有tud.DataSet，自己建立的DataSet Class需要三个函数：① __init__(self,param):传入相关参数；②def __len__(self): 返回数据集的长度; ③ def __getitem__(slef,idx): 数据集中每一组数据包括的内容。

举例说明：

class CountDataset(tud.Dataset):
    def __init__(self,x,y,z):
        super(CountDataset,self).__init__();
        self.x = x; self.y = y; self.z = z;
    def __len__(self):
        return len(self.z)
    def __getitem__(self,i):
        return x[i],y[i],z[i]
countdataset = CountDataset(x,y,z)
print(countdataset.__len__(),countdataset.__getitem__(0))

数据集中的每条数据（item）包括x[i]、y[i]、z[i] 三项

3、以DataSet为基础建立DataLoader

在DataLoader中，需要输入dataset(上面建立的数据集),batch_size（batch大小），shuffle（每个epoch后是否打乱顺序，即样本洗牌），num_workers（使用多进程加载的进程数，0代表不使用多进程，这个一直没理解）

loader = tud.DataLoader(
    dataset = torch_dataset,batch_size = 5,shuffle = False,num_workers = 0,
    )

 4 遍历建立的DataLoader

for epoch in range(3):
    for step,(batch_x,batch_y) in enumerate(loader):
        print('epoch',epoch,'|step:',step," \n batch_x",batch_x.numpy(),'|batch_y:',batch_y.numpy())