【pytorch教程(1)】Datasets & DataLoaders

西西_Cherry

已于 2022-08-02 17:28:18 修改

阅读量264

点赞数

分类专栏： pytorch 文章标签： pytorch python 深度学习

于 2022-07-18 10:49:38 首次发布

本文链接：https://blog.csdn.net/super__yue/article/details/125842264

版权

pytorch 专栏收录该内容

4 篇文章 1 订阅

订阅专栏

Loading a Dataset

例子：如何加载来自torchVision的数据集Fashion-MNIST。Fashion-MNIST是一个由Zalando的文章图像组成的数据集，包括60,000个训练示例和10,000个测试示例。每个示例包含一个28×28灰度图像和一个来自10个类中的一个的相关标签。
参数包括：

root：训练/测试数据存储的path
train：数据是否用于训练
download=True 默认为True，如果root所指示的路径下没有该数据集则从网络上下载
transform and target_transform 指定特征及标签转换信息？

import torch
from torch.utils.data import Dataset
from torchvision import datasets
from torchvision.transforms import ToTensor
import matplotlib.pyplot as plt


training_data = datasets.FashionMNIST(
    root="data",
    train=True,
    download=True,
    transform=ToTensor()
)

test_data = datasets.FashionMNIST(
    root="data",
    train=False,
    download=True,
    transform=ToTensor()
)

输出信息：

Downloading http://fashion-mnist.s3-website.eu-central-1.amazonaws.com/train-images-idx3-ubyte.gz
Downloading http://fashion-mnist.s3-website.eu-central-1.amazonaws.com/train-images-idx3-ubyte.gz to data/FashionMNIST/raw/train-images-idx3-ubyte.gz
Extracting data/FashionMNIST/raw/train-images-idx3-ubyte.gz to data/FashionMNIST/raw

Downloading http://fashion-mnist.s3-website.eu-central-1.amazonaws.com/train-labels-idx1-ubyte.gz
Downloading http://fashion-mnist.s3-website.eu-central-1.amazonaws.com/train-labels-idx1-ubyte.gz to data/FashionMNIST/raw/train-labels-idx1-ubyte.gz
Extracting data/FashionMNIST/raw/train-labels-idx1-ubyte.gz to data/FashionMNIST/raw

Downloading http://fashion-mnist.s3-website.eu-central-1.amazonaws.com/t10k-images-idx3-ubyte.gz
Downloading http://fashion-mnist.s3-website.eu-central-1.amazonaws.com/t10k-images-idx3-ubyte.gz to data/FashionMNIST/raw/t10k-images-idx3-ubyte.gz
Extracting data/FashionMNIST/raw/t10k-images-idx3-ubyte.gz to data/FashionMNIST/raw

Downloading http://fashion-mnist.s3-website.eu-central-1.amazonaws.com/t10k-labels-idx1-ubyte.gz
Downloading http://fashion-mnist.s3-website.eu-central-1.amazonaws.com/t10k-labels-idx1-ubyte.gz to data/FashionMNIST/raw/t10k-labels-idx1-ubyte.gz
Extracting data/FashionMNIST/raw/t10k-labels-idx1-ubyte.gz to data/FashionMNIST/raw

Iterating and Visualizing the Dataset

数据集支持列表索引的方式获取图片以及标签ID，例如training_data[index]

labels_map = {
            0: "T-Shirt",
            1: "Trouser",
            2: "Pullover",
            3: "Dress",
            4: "Coat",
            5: "Sandal",
            6: "Shirt",
            7: "Sneaker",
            8: "Bag",
            9: "Ankle Boot",
}

figure = plt.figure(figsize=(8,8))
cols, rows = 3, 3
for i in range(1, cols*rows + 1):
    #使用索引方式随机选择数据集中的图像
    sample_idx = torch.randint(len(training_data), size=(1,)).item()
    img, label = training_data[sample_idx]
    figure.add_subplot(rows, cols, i)
    
    #设置子图的标题、关闭坐标轴刻度
    plt.title(labels_map[label])
    plt.axis("off")
    plt.imshow(img.squeeze(), cmap="gray")
plt.show()

Creating a Custom Dataset for your files

自定义数据集的类必须实现3个函数：init, len, getitem. 根据实现，FashionMNIST数据集中的图像存储在一个集合img_dir中，标签则单独地存储在一个csv文件annotation _file中

__init__函数在实例化Dataset对象时运行一次。我们初始化包含图像、注释文件和两种转换的目录(下一节将详细介绍)。

def __init__(self, annotations_file, img_dir, transform=None, target_transform=None):
    self.img_labels = pd.read_csv(annotations_file)
    self.img_dir = img_dir
    self.transform = transform
    self.target_transform = target_transform

len 函数返回我们数据集中标签的数量

def __len__(self):
    return len(self.img_labels)

__getitem__函数从给定索引idx的数据集中加载并返回一个示例。根据索引，它确定图像在磁盘上的位置，使用read_image将其转换为一个张量，并从self中的csv数据中检索相应的标签。 Img_labels，调用它们上的转换函数(如果适用)，并在一个元组中返回张量image和相应的标签。

def __getitem__(self, idx):
    img_path = os.path.join(self.img_dir, self.img_labels.iloc[idx, 0])
    image = read_image(img_path)
    label = self.img_labels.iloc[idx, 1]
    if self.transform:
        image = self.transform(image)
    if self.target_transform:
        label = self.target_transform(label)
    return image, label

Preparing your data for training with DataLoaders

Dataset每次检索我们数据集的特征并标记一个样本。在训练模型时，我们通常希望“小批量”地通过样本，在每个时期重新洗洗数据以减少模型过拟合，并使用Python的多处理来加快数据检索。

from torch.utils.data import DataLoader

train_dataloader = DataLoader(training_data, batch_size=64, shuffle=True)
test_dataloader = DataLoader(test_data, batch_size=64, shuffle=True)
``from torch.utils.data import DataLoader

train_dataloader = DataLoader(training_data, batch_size=64, shuffle=True)
test_dataloader = DataLoader(test_data, batch_size=64, shuffle=True)`

## Iterate through the DataLoader

我们已经将该数据集加载到DataLoader中，并可以根据需要迭代该数据集。 下面的每次迭代都返回一批train_features和train_labels(分别包含batch_size=64个特性和标签)。 因为我们指定了shuffle=True，所以在遍历所有批次后，数据将被shuffle(对于更细粒度的数据加载顺序控制，请查看sampler)。  

```python
# Display image and label.
train_features, train_labels = next(iter(train_dataloader))
print(f"Feature batch shape: {train_features.size()}")
print(f"Labels batch shape: {train_labels.size()}")
img = train_features[0].squeeze()
label = train_labels[0]
plt.imshow(img, cmap="gray")
plt.show()
print(f"Label: {label}")

ImageFolder

torchvision.datasets.ImageFolder是一个通用的数据loader，当数据被按类划分成下面的文件夹结构时：

CLASS torchvision.datasets.ImageFolder(
	root: str,  #数据的根路径
	transform: Optional[Callable] = 	None, 
	target_transform: Optional[Callable] = None, 
	loader: Callable[[str], Any] = <function default_loader>, 
	is_valid_file: Optional[Callable[[str], bool]] = None
	)