在深度学习中,对数据进行预处理时候,当数据量比较大的时候,一般需要将数据集划分成多个batch
。
这时可以通过实现一个torch
自带的DataSet
类,来完成常见的batch
划分以及shuffle
操作。
1. 导入依赖
import torch
from torch.utils.data import Dataset,DataLoader,TensorDataset
2. 实现DataSet类
只需要重写__getitem__
和__len__
这两个方法即可。
class myDataSet(Dataset):
def __init__(self,x_data,y_data):
self.x_data = x_data
self.y_data = y_data
self.len = x_data.shape[0]
def __getitem__(self,index):
return self.x_data[index], self.y_data[index]
def __len__(self):
return self.len
创建x, y两个数据,然后传入刚才写的myDataSet类中
通过上图程序运行结果可以发现,我们实现的类myDataSet
,会将传入的相同维度的x,y合并成一个‘键值对’
。
3. DataLoader类
Dataset是一个包装类,用来将数据包装为Dataset类,然后传入DataLoader中,我们再使用DataLoader这个类来更加快捷的对数据进行操作。
DataLoader是一个比较重要的类,它为我们提供的常用操作有:batch_size(每个batch的大小), shuffle(是否进行shuffle操作), num_workers(加载数据的时候使用几个子进程)
train_data = DataLoader(dataset= my_dataset, shuffle=True, batch_size=25)
这里我们设置shuffle
为True
意思是随机加载,batch_size
为25,一共250个输入,所以分为10个batch
,然后遍历一下train_data看看封装的结果。
for epoch in range(2):
for index, item in enumerate(train_data):
print('epoch {} , batch {}; train data shape is {}'.format(epoch,index, item[0].shape ))
如上图所示,在2个epoch
中每个epoch
都有10个batch