获取使用图片分类数据集（Fashion-MNIST）

图像分类数据集（Fashion-MNIST）

读取数据集有时很让人头疼，尤其不容易明白数据集的结构，多做几次，积累经验

import torch
import torchvision
import torchvision.transforms as transforms
import matplotlib.pyplot as plt
import time
import sys
sys.path.append("..") 

print(torch.__version__)
print(torchvision.__version__)

2.0.0
0.15.0

获取数据集

首先是下载数据集，存起来，便于我们以后使用

mnist_train = torchvision.datasets.FashionMNIST('Datasets/FashionMNIST', train=True, download=True, transform=transforms.ToTensor())
mnist_test = torchvision.datasets.FashionMNIST(root='Datasets/FashionMNIST', train=False, download=True, transform=transforms.ToTensor())

# 也可以解压缩后使用，如何使用问gpt就好了

mnist_train里面有60000万条元组，每个元组有两个元素，一个是图片的大小，一个是图片的标签

print(type(mnist_train))
print(len(mnist_train), len(mnist_test))
print(len(mnist_train[0]))
print(mnist_train[0][0].shape)
print(mnist_train[0][1])

<class 'torchvision.datasets.mnist.FashionMNIST'>
60000 10000
2
torch.Size([1, 28, 28])
9

feature, label = mnist_train[0]
print(feature.shape, feature.dtype)  # Channel x Height X Width
print(label)

torch.Size([1, 28, 28]) torch.float32
9

mnist_PIL = torchvision.datasets.FashionMNIST(root='/Datasets/FashionMNIST', train=True, download=True)
print(type(mnist_PIL))
PIL_feature, label = mnist_PIL[0]  # mnist_PIL[0]是训练数据 

# feature是图片
print(PIL_feature)

<class 'torchvision.datasets.mnist.FashionMNIST'>
<PIL.Image.Image image mode=L size=28x28 at 0x14D11569DF0>

# 这是十分类问题中的0-10对应的标签
def get_fashion_mnist_labels(labels):
    text_labels = ['t-shirt', 'trouser', 'pullover', 'dress', 'coat',
                   'sandal', 'shirt', 'sneaker', 'bag', 'ankle boot']
    return [text_labels[int(i)] for i in labels]

注意学习这里绘制多图片的技巧

# 本函数已保存在d2lzh包中方便以后使用
def show_fashion_mnist(images, labels):
    # d2l.use_svg_display()
    # 这里的_表示我们忽略（不使用）的变量
    # 创建一个 figs 含有多个子图
    _, figs = plt.subplots(1, len(images), figsize=(12, 12))
    # 把fig理解为一个数组，第一个元素就是第一个子图~以此类推
    for f, img, lbl in zip(figs, images, labels):
        f.imshow(img.view((28, 28)).numpy())
        f.set_title(lbl)
        f.axes.get_xaxis().set_visible(False)
        f.axes.get_yaxis().set_visible(False)
    plt.show()

X, y = [], []
for i in range(10):
    X.append(mnist_train[i][0])
    y.append(mnist_train[i][1])
show_fashion_mnist(X, get_fashion_mnist_labels(y))

​

读取小批量

startswith(‘win’) 检查该字符串是否以 ‘win’ 开头，即是否是 Windows 系统。

如果当前操作系统是 Windows，那么 num_workers 被设置为 0。在 Windows 上，多进程数据加载可能会导致一些问题，因此在这种情况下，通常建议将 num_workers 设置为 0，即不使用额外的进程来加速数据读取。
如果当前操作系统不是 Windows（例如，Linux 或 macOS），那么 num_workers 被设置为 4。在类Unix系统上，使用多进程加载数据通常可以加速数据读取，因为它允许同时加载多个样本，提高了数据加载的效率。这里将 num_workers 设置为 4 意味着使用 4 个额外的进程来并行加载数据

batch_size = 256
if sys.platform.startswith('win'): 
    num_workers = 0  # 0表示不用额外的进程来加速读取数据
else:
    num_workers = 4
train_iter = torch.utils.data.DataLoader(mnist_train, batch_size=batch_size, shuffle=True, num_workers=num_workers)
test_iter = torch.utils.data.DataLoader(mnist_test, batch_size=batch_size, shuffle=False, num_workers=num_workers)

start = time.time()
for X, y in train_iter:
    continue
print('%.2f sec' % (time.time() - start))

4.08 sec