Pytorch(五) 使用DataSet和DataLoader数据加载

Pytorch(五) 使用DataSet和DataLoader数据加载

---

记录一下DataSet和DataLoader的使用

---

介绍

Dataset是一个包装类，用来将数据包装为Dataset类，然后传入DataLoader中

DataLoader是一个比较重要的类，它为我们提供的常用操作有：batch_size(每个batch的大小), shuffle(是否进行shuffle操作), num_workers(加载数据的时候使用几个子进程)

对比

比如在一个多层感知机的模型当中,在不使用Dataset和DataLoader的情况下,我们如果要实现mini_batch的操作,可能代码如下

batch = 64
all_batche = len(data) // batch 
for epoch in range(1000):
	for i in range(all_batche):
		start = i * batch
		end = start + batch
		x = X[start:end]
		y = Y[start:end]
		...
		...

使用了Dataset包装类之后,代码改进如下

from torch.utils.data import TensorDataset
batch = 64
all_batche = len(data) // batch 
HRdataset = TensorDataset(X,Y)
for epoch in range(1000):
	for i in range(all_batche):
		x, y = HRdataset[i * batch, i*batch+batch]
		x = X[start:end]
		y = Y[start:end]
		...
		...

使用了Dataloader类之后,代码改进如下

from torch.utils.data import DataLoader
from torch.utils.data import TensorDataset
batch = 64
all_batche = len(data) // batch 
HR_ds = TensorDataset(X,Y)
HR_dl = DataLoader(HR_ds,batch_size = batch, shuffle=True )

for epoch in range(1000):
	for x, y in HR_dl:
		x = X[start:end]
		y = Y[start:end]
		...
		...

自定义Dataset

Pytorch 快速详解如何构建自己的Dataset完成数据预处理(附详细过程)