数据加载

在深度学习中，数据加载是非常重要的一步。在PyTorch中，我们可以使用DataLoader类来加载数据集。DataLoader类可以帮助我们管理数据集的加载过程，包括数据的批量加载、数据的打乱、数据的预处理等等。

 

 DataLoader类的基本用法

 

DataLoader类的基本用法如下：

 

 

from torch.utils.data import DataLoader

 

# 数据集对象

dataset = # ...

 

# DataLoader对象

dataloader = DataLoader(dataset, batch_size=batch_size, shuffle=True, num_workers=num_workers)

 

 

其中，dataset参数是数据集对象，batch_size参数是批处理的大小，shuffle参数表示是否打乱数据，num_workers参数是加载数据的线程数。

 

 自定义数据集

 

在使用DataLoader类之前，我们需要先定义一个数据集类。这个类需要继承自torch.utils.data.Dataset类，并实现__len__()和__getitem__()方法。

 

 

from torch.utils.data import Dataset

 

class MyDataset(Dataset):

    def __init__(self, data, transform=None):

        self.data = data

        self.transform = transform

 

    def __len__(self):

        return len(self.data)

 

    def __getitem__(self, idx):

        if torch.is_tensor(idx):

            idx = idx.tolist()

 

        sample = self.data[idx]

        if self.transform:

            sample = self.transform(sample)

 

        return sample

 

 

在这个例子中，我们定义了一个MyDataset类，它接受一个数据列表和一个transform参数。在__getitem__()方法中，我们首先将索引转换为整数类型，然后从数据列表中获取样本。如果设置了transform参数，则对样本进行预处理。

 

数据增强

 

数据增强是一种常用的技术，它可以通过对原始数据进行随机变换来增加数据的多样性，从而提高模型的泛化能力。在PyTorch中，我们可以使用torchvision.transforms模块来实现数据增强。

 

 

from torchvision import transforms

 

transform = transforms.Compose([

    transforms.RandomResizedCrop(32),

    transforms.RandomHorizontalFlip(),

    transforms.ToTensor(),

    transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])

])

 

 

在这个例子中，我们使用Compose方法将多个变换组合在一起。其中，RandomResizedCrop方法用于随机裁剪图像，RandomHorizontalFlip方法用于随机水平翻转图像，ToTensor方法用于将图像转换为张量，Normalize方法用于对张量进行标准化处理。

 加载自定义数据集

 

最后，我们可以使用自定义的数据集类和数据增强方法来加载数据集。例如：

 

from torch.utils.data import DataLoader

 

# 数据集对象

dataset = MyDataset(data, transform=transform)

 

# DataLoader对象

dataloader = DataLoader(dataset, batch_size=batch_size, shuffle=True, num_workers=num_workers)

 

 

在这个例子中，我们使用MyDataset类来定义数据集对象，并使用之前定义的数据增强方法来对数据进行预处理。然后，我们使用DataLoader类来加载数据集，并设置批处理的大小、是否打乱数据以及加载数据的线程数。