在自学词向量时,遇到了DataLoader这个知识点,最开始不太理解,第二次学习的时候渐渐明白了它的作用。记录一下,给相似的小白学习用。
1、DataLoader的作用
DataLoader 的作用是将数据集(Dataset)自动形成一个一个的Batch,以用于批处理使用。建立DataLoader需要先建立数据集。
相关包的导入
import torch
import torch.utils.data as tud;
2、DataSet的建立
2.1 直接采用 torch.utils.data中带有的DataSet建立方式
举例说明:建立一个完全为Tensor的数据·DataSet
x = torch.linspace(1,10,10);
y = torch.linspace(10,1,10);
torch_dataset = tud.TensorDataset(x,y);
2.2 根据自己需要建立DataSet
继承原有tud.DataSet,自己建立的DataSet Class需要三个函数:① __init__(self,param):传入相关参数;②def __len__(self): 返回数据集的长度; ③ def __getitem__(slef,idx): 数据集中每一组数据包括的内容。
举例说明:
class CountDataset(tud.Dataset):
def __init__(self,x,y,z):
super(CountDataset,self).__init__();
self.x = x; self.y = y; self.z = z;
def __len__(self):
return len(self.z)
def __getitem__(self,i):
return x[i],y[i],z[i]
countdataset = CountDataset(x,y,z)
print(countdataset.__len__(),countdataset.__getitem__(0))
数据集中的每条数据(item)包括x[i]、y[i]、z[i] 三项
3、以DataSet为基础建立DataLoader
在DataLoader中,需要输入dataset(上面建立的数据集),batch_size(batch大小),shuffle(每个epoch后是否打乱顺序,即样本洗牌),num_workers(使用多进程加载的进程数,0代表不使用多进程,这个一直没理解)
loader = tud.DataLoader(
dataset = torch_dataset,batch_size = 5,shuffle = False,num_workers = 0,
)
4 遍历建立的DataLoader
for epoch in range(3):
for step,(batch_x,batch_y) in enumerate(loader):
print('epoch',epoch,'|step:',step," \n batch_x",batch_x.numpy(),'|batch_y:',batch_y.numpy())