【Pytorch教程】DATASETS & DATALOADERS

概述

【Pytroch官方教程】用于处理数据样本的代码可能会变得凌乱且难以维护；理想情况下，我们希望数据集代码与模型训练代码解耦，以获得更好的可读性和模块性。PyTorch为我们提供了 torch.utils.data.DataLoader 和 torch.utils.data.Dataset 来预加载的公开的或者用户自己的数据集。Dataset 存储样本数据及相应的标签， DataLoader 在 Dataset 上包装了迭代器，以便于访问样本。PyTorch库提供了许多预加载的数据集（如FashionMNIST），他们是 torch.utils.data.Dataset 的子类并实现了特定的数据函数。下面是官方提供的三种类型的预加载数据集：

• Image Datasets
• Text Datasets
• Audio Datasets

Loading a Dataset

创建自定义数据集

创建自定义图片数据集对象需要实现三个函数: init, len(self), and getitem(self, idx).

import os
import pandas as pd
from torchvision.io import read_image
from torch.utils.data import Dataset


class CustomImageDataset(Dataset):
    def __init__(self, annotations_file, img_dir, transform=None, target_transform=None):
        """
        初始化包含图片数据的文件夹、数据标签和transform对象
        Args:
            annotations_file:
            img_dir:
            transform:
            target_transform:
        """
        self.img_labels = pd.read_csv(annotations_file)
        self.img_dir = img_dir
        self.transform = transform
        self.target_transform = target_transform

    def __len__(self):
        """
        返回数据集样本数
        Returns:
        """
        return len(self.img_labels)

    def __getitem__(self, idx):
        """
        通过数据索引返回一个样本数据和相应的label
        Args:
            idx: 数据索引

        Returns:数据item和相应的label
            image, label
        """
        img_path = os.path.join(self.img_dir, self.img_labels.iloc[idx, 0])
        image = read_image(img_path)
        label = self.img_labels.iloc[idx, 1]
        if self.transform:
            image = self.transform(image)
        if self.target_transform:
            label = self.target_transform(label)
        return image, label

DataLoaders准备训练集

Dataset 每次检索一个样本的数据和标签。在训练模型时，我们希望以 mini-batch 的方式传递样本，并且打乱每个 epoch 数据排列以减少过拟合，同时使用 Python 的多进程处理来加速数据检索。DataLoader 是一个可迭代数据集的 API 接口。下面是其 Demo 示例：

from torch.utils.data import DataLoader

train_dataloader = DataLoader(training_data, batch_size=64, shuffle=True)
test_dataloader = DataLoader(test_data, batch_size=64, shuffle=True)
# Display image and label.
train_features, train_labels = next(iter(train_dataloader))
print(f"Feature batch shape: {train_features.size()}")
print(f"Labels batch shape: {train_labels.size()}")
img = train_features[0].squeeze()
label = train_labels[0]
plt.imshow(img, cmap="gray")
plt.show()
print(f"Label: {label}")

参考文献

Pytorch官方文档