概述
【Pytroch官方教程】用于处理数据样本的代码可能会变得凌乱且难以维护;理想情况下,我们希望数据集代码与模型训练代码解耦,以获得更好的可读性和模块性。PyTorch
为我们提供了 torch.utils.data.DataLoader
和 torch.utils.data.Dataset
来预加载的公开的或者用户自己的数据集。Dataset
存储样本数据及相应的标签, DataLoader
在 Dataset
上包装了迭代器,以便于访问样本。PyTorch库提供了许多预加载的数据集(如FashionMNIST),他们是 torch.utils.data.Dataset
的子类并实现了特定的数据函数。下面是官方提供的三种类型的预加载数据集:
Loading a Dataset
创建自定义数据集
创建自定义图片数据集对象需要实现三个函数: init, len(self), and getitem(self, idx).
import os
import pandas as pd
from torchvision.io import read_image
from torch.utils.data import Dataset
class CustomImageDataset(Dataset):
def __init__(self, annotations_file, img_dir, transform=None, target_transform=None):
"""
初始化包含图片数据的文件夹、数据标签和transform对象
Args:
annotations_file:
img_dir:
transform:
target_transform:
"""
self.img_labels = pd.read_csv(annotations_file)
self.img_dir = img_dir
self.transform = transform
self.target_transform = target_transform
def __len__(self):
"""
返回数据集样本数
Returns:
"""
return len(self.img_labels)
def __getitem__(self, idx):
"""
通过数据索引返回一个样本数据和相应的label
Args:
idx: 数据索引
Returns:数据item和相应的label
image, label
"""
img_path = os.path.join(self.img_dir, self.img_labels.iloc[idx, 0])
image = read_image(img_path)
label = self.img_labels.iloc[idx, 1]
if self.transform:
image = self.transform(image)
if self.target_transform:
label = self.target_transform(label)
return image, label
DataLoaders准备训练集
Dataset
每次检索一个样本的数据和标签。在训练模型时,我们希望以 mini-batch
的方式传递样本,并且打乱每个 epoch
数据排列以减少过拟合,同时使用 Python
的多进程处理来加速数据检索。DataLoader
是一个可迭代数据集的 API
接口。下面是其 Demo
示例:
from torch.utils.data import DataLoader
train_dataloader = DataLoader(training_data, batch_size=64, shuffle=True)
test_dataloader = DataLoader(test_data, batch_size=64, shuffle=True)
# Display image and label.
train_features, train_labels = next(iter(train_dataloader))
print(f"Feature batch shape: {train_features.size()}")
print(f"Labels batch shape: {train_labels.size()}")
img = train_features[0].squeeze()
label = train_labels[0]
plt.imshow(img, cmap="gray")
plt.show()
print(f"Label: {label}")