【Pytorch官网tutorial】1.3 DATASETS & DATALOADERS

TENSORS的官方网址：点击进入
以下是内容笔记和相关翻译：

处理数据样本的代码可能会变得杂乱且难以维护；理想情况下，我们希望数据集的代码与模型训练代码解耦，以提高可读性和模块化性。PyTorch提供了两个数据原语：torch.utils.data.DataLoader和torch.utils.data.Dataset，它们允许您使用预加载的数据集以及自己的数据。数据集存储样本及其相应的标签，而数据加载器则在数据集周围包装一个可迭代对象，以便轻松访问样本。

PyTorch领域库提供了许多预加载的数据集（例如FashionMNIST），它们是torch.utils.data.Dataset的子类，并实现了特定于特定数据的函数。它们可以用于模型的原型和基准测试。您可以在以下位置找到它们：图像数据集、文本数据集和音频数据集。

加载数据集

这是一个从TorchVision加载Fashion-MNIST数据集的示例。Fashion-MNIST是Zalando的产品图像数据集，包含60,000个训练示例和10,000个测试示例。每个示例包含一个28×28的灰度图像和一个属于10个类别之一的关联标签。

我们使用以下参数加载 FashionMNIST Dataset ：

• root是存储训练/测试数据的路径，
• train指定训练还是测试数据集，
• download=True表示如果数据在root路径下不可用，将从互联网下载数据。
• transform和target_transform指定特征和标签的转换方法。

import torch 
from torch.utils.data import Dataset #这行代码导入Pytorch的Dataset模块
from torchvision import datasets
from torchvision.transforms import ToTensor
#这两行代码导入Pytorch的数据集模块和数据转换模块。torchvision.datasets模块提供了一些常用的预加载数据集，而torchvision.transforms模块则提供了一些常用的数据变换函数。
import matplotlib.pyplot as plt
#这行代码导入Matplotlib，一个常用的数据可视化库。

training_data = datasets.FashionMNIST(
    root="data",
    train=True,
    download=True,
    transform=ToTensor()
)
#这行代码创建了一个FashionMNIST数据集的训练集。我们使用datasets.FashionMNIST函数来加载FashionMNIST数据集，同时指定了训练数据集。该函数会将数据集下载到指定路径，然后使用ToTensor()进行数据转换。

test_data = datasets.FashionMNIST(
    root="data",
    train=False,
    download=True,
    transform=ToTensor()
) #这行代码创建了一个FashionMNIST数据集的测试集，其构造方法与训练集类似，只需将参数train设置为False即可。

遍历数据集并可视化

我们可以像遍历列表一样手动索引数据集:training_data[index]。使用matplotlib来可视化Fashion-MNIST训练数据集中的一些样本。

labels_map = {
    0: "T-Shirt",
    1: "Trouser",
    2: "Pullover",
    3: "Dress",
    4: "Coat",
    5: "Sandal",
    6: "Shirt",
    7: "Sneaker",
    8: "Bag",
    9: "Ankle Boot",
}
#这段代码定义了一个字典变量labels_map，将FashionMNIST数据集中的类别标签与对应的类别名称进行了映射。

figure = plt.figure(figsize=(8, 8)) #创建一个大小为8x8英寸的图像画布。
cols, rows = 3, 3 #将图像画布分成3行3列，共9个子图。
for i in range(1, cols * rows + 1): #使用循环遍历9个子图
    sample_idx = torch.randint(len(training_data), size=(1,)).item()
    #torch.randint(len(training_data), size=(1,)) 生成一个值在 0 到 len(training_data)-1 之间的随机整数。其中len(training_data) 是数据集 training_data 的长度，表示数据集中的样本数量。
    #size=(1,) 表示生成的随机整数的形状为 (1,)，也就是一个一维数组。
    #item() 方法用于将张量（tensor）中的单个数值提取出来。item()方法的作用就是将包含单个元素的张量转换为Python标量。
    img, label = training_data[sample_idx] #这行代码用于从训练数据集 training_data 中获取指定索引 sample_idx 处的图像和标签，并将它们分别赋值给变量 img 和 label
    figure.add_subplot(rows, cols, i)
    #在一个图像对象（figure）上创建并添加一个子图
    #rows：表示子图的行数。cols：表示子图的列数。i：表示要添加的子图的位置。位置编号是从左上角开始按照从左到右、从上到下的顺序递增的。
    plt.title(labels_map) #子图的标题，使用字典变量labels_map将标签转换为对应的类别名称。
    plt.axis("off") #关闭子图的坐标轴。
    plt.imshow(img.squeeze(), cmap="gray")
    #img：表示要显示的图像数据，通常是一个Numpy数组或张量。
    #squeeze()：这是一个方法，用于去除数组或张量中的尺寸为1的维度，使其成为一个更简洁的形状。在这个代码中，squeeze()用于去除图像数据中的空维度。
    #cmap="gray"：这是一个参数，用于指定颜色映射（colormap）的名称。在这个代码中，cmap="gray"用于将图像以灰度的方式进行显示。
    #使用plt.imshow()函数，我们可以将图像数据可视化为图像。在这行代码中，img.squeeze()先对图像数据进行形状调整，然后plt.imshow()将这个调整后的图像以灰度的方式进行显示。在可视化时，imshow()函数会根据图像数据的数值范围以及指定的颜色映射，将不同数值的像素点显示成不同的颜色（在这个例子中是灰度值）。
plt.show()

为自己的文件创建自定义数据集

一个自定义数据集类必须实现三个函数:__init__、__len__和__getitem__。请看下面的实现; FashionMNIST图片存储在一个名为img_dir的目录中，它们的标签分别存储在CSV文件annotations_file中。

在接下来的几个部分中，我们将分别介绍每个函数。

import os
import pandas as pd
from torchvision.io import read_image
from torch.utils.data import Dataset
#os和pandas是用于操作文件系统和进行数据处理的标准Python库，而read_image是PyTorch中用于读取图像数据的函数。Dataset是PyTorch中定义数据集的基类，是自定义数据集的基础。

class CustomImageDataset(Dataset):
    def __init__(self, annotations_file, img_dir, transform=None, target_transform=None):
        self.img_labels = pd.read_csv(annotations_file)
        self.img_dir = img_dir
        self.transform = transform
        self.target_transform = target_transform
#定义了一个名为CustomImageDataset的类，该类是Dataset类的子类，用于表示自定义的图像数据集。
#该类的构造函数接受四个参数：annotations_file表示包含图像文件名和标签的CSV文件，img_dir表示图像文件所在目录，transform表示应用到图像上的变换，target_transform表示应用到目标（标签）上的变换。

    def __len__(self):
        return len(self.img_labels)
        #Dataset类的__len__方法的实现，用于返回图像数据集的大小（即包含多少个图像样本）。

    def __getitem__(self, idx):
        img_path = os.path.join(self.img_dir, self.img_labels.iloc[idx, 0])
        image = read_image(img_path)
        label = self.img_labels.iloc[idx, 1]
        #在自定义数据集类中，img_labels属性是一个Pandas DataFrame类型的对象，存储了图像文件的路径和对应的标注数据。每一行都代表着一个图像样本，第一列为图像的文件路径，第二列为图像对应的标注或类别。
        #因此，label = self.img_labels.iloc[idx, 1]中的iloc[idx, 1]表示获取该数据集中索引为idx的行，第二列（从0开始）的数据值，即获取该行的标注数据。然后，该标注数据将被存储在变量label中，作为该索引对应图像的标签或目标值。
        #在训练机器学习模型时，通常会使用这些标签数据作为训练数据的目标值，并与相应的图像样本一起输入模型中进行训练。这样，模型就能够学习如何预测正确的标签或类别，从而提高模型的准确性。

        if self.transform:
            image = self.transform(image) #如果self.transform存在，说明有图像变换函数，我们将image作为参数传递给self.transform函数，然后将返回的变换后的图像赋值给image。这样就完成了对图像数据的变换操作。
        if self.target_transform:
            label = self.target_transform(label) #如果self.target_transform存在，说明有目标（标签）变换函数，我们将label作为参数传递给self.target_transform函数，然后将返回的变换后的标签赋值给label。这样就完成了对标签数据的变换操作。
        return image, label

__init__
__init__函数在实例化数据集对象时只运行一次。我们初始化包含图像的目录、注释文件以及两个变换（在下一节中详细介绍）。

labels.csv文件的样式如下：

tshirt1.jpg, 0
tshirt2.jpg, 0
......
ankleboot999.jpg, 9

def __init__(self, annotations_file, img_dir, transform=None, target_transform=None):
    self.img_labels = pd.read_csv(annotations_file)
    self.img_dir = img_dir
    self.transform = transform
    self.target_transform = target_transform

__len__
__len__函数返回数据集中的样本数量。

def __len__(self):
    return len(self.img_labels)

__getitem_\
__getitem_\函数从给定的索引idx中加载并返回数据集中的样本。根据索引，它确定图像在磁盘上的位置，使用read_image将其转换为张量，从self.img_labels中检索相应的标签数据，并调用变换函数对它们进行处理（如果适用），最后将张量图像和相应的标签返回为元组。

def __getitem__(self, idx):
    img_path = os.path.join(self.img_dir, self.img_labels.iloc[idx, 0])
    image = read_image(img_path)
    label = self.img_labels.iloc[idx, 1]
    if self.transform:
        image = self.transform(image)
    if self.target_transform:
        label = self.target_transform(label)
    return image, label

使用DataLoader为训练准备数据

数据集一个样本一个样本地提取我们数据集中的特征和标签。在训练模型时，我们通常希望以“小批量”方式传递样本，每个纪元重组数据以减少模型过度拟合，并使用Python中的multiprocessing来加速数据检索。

DataLoader是一个可迭代的对象，它在一个简单的API中为我们抽象出了这种复杂性。

from torch.utils.data import DataLoader

train_dataloader = DataLoader(training_data, batch_size=64, shuffle=True)
#batch_size是指每次模型训练时读取的数据的数量。通常情况下，我们会将大量的数据划分为小批量，以避免模型内存溢出，利用GPU加速运算，并实现随机梯度下降（SGD）等优化算法。
#shuffle参数用于指定是否对数据进行随机打乱操作。在训练神经网络时，随机化数据顺序可以帮助模型更好地体现数据的多样性，从而最大化模型的泛化能力。
test_dataloader = DataLoader(test_data, batch_size=64, shuffle=True)

通过DataLoader遍历

我们已经将该数据集加载到DataLoader中，并可以根据需要遍历数据集。以下每个迭代返回一个train_features和train_labels批次（分别包含batch_size=64个特征和标签）。因为我们指定了shuffle=True，在迭代完所有批次后数据会被随机打乱（如果您想更精细地控制数据的加载顺序，请查看Samplers）。

# Display image and label.
train_features, train_labels = next(iter(train_dataloader))
#调用next(iter(train_dataloader))获取一个批次的数据，train_features和train_labels分别存储着该批次中的图像数据和标签。其中的next(iter(train_dataloader))的作用是获取一个批次的数据，其中iter()函数将train_dataloader转换成一个Python迭代器，next()函数从该迭代器中获取一个批次的数据。
print(f"Feature batch shape: {train_features.size()}")
print(f"Labels batch shape: {train_labels.size()}")
img = train_features[0].squeeze()
#将该批次中第一张图像 (train_features[0]) 压缩为两维，squeeze()的作用是去掉张量形状中的尺寸为1的维度，例如将(1, 28, 28)的形状变为(28, 28)
label = train_labels[0]
plt.imshow(img, cmap="gray")
#plt.imshow()可视化展示图像
plt.show()
print(f"Label: {label}")
···