【深度学习系列】——Fashion-MNIST数据集简介

1、数据集简介

\quad \quad 不同于MNIST手写数据集,Fashion-MNIST数据集包含了10个类别的图像,分别是:t-shirt(T恤),trouser(牛仔裤),pullover(套衫),dress(裙子),coat(外套),sandal(凉鞋),shirt(衬衫),sneaker(运动鞋),bag(包),ankle boot(短靴)。

2、获取数据集

1、torchvision包

\quad \quad torchvision包,是服务于PyTorch深度学习框架的,主要用来构建计算机视觉模型。

\quad \quad torchvision主要由以下几部分构成:

1、torchvision.datasets:一些加载数据的函数及常用的数据集接口;

2、torchvision.models:包含常用的模型结构(含预训练模型),例如AlexNet、VGG、ResNet等;

3、torchvision.transforms:常用的图片转换,例如裁剪、旋转等;

4、torchvision.utils:其他的一些有用的方法


2、下载数据集

\quad \quad 下面,我们通过torchvision的torchvision.datasets包来下载这个数据集。第一次调用时会自动从网上获取数据。我们通过参数train来指定获取训练数据集或测试数据集(testing data set)。测试数据集也叫测试集(testing set),只用来评价模型的表现,并不用来训练模型。

\quad \quad 另外,我们还指定了参数transform=transform.ToTensor()使所有数据转换为Tensor,如果不进行转换则返回的是PIL图片。transform=transform.ToTensor()transform.ToTensor()将尺寸为( H ∗ W ∗ C H*W*C HWC)且数据位于(0,255)的PIL图片或者数据类型为np.uint8的Numpy数组转换为尺寸为( C ∗ H ∗ W C*H*W CHW)且数据类型为torch.float32且位于(0.0,1.0)的Tensor。其中,C为通道个数(如果图像是灰色的,则C=1;如果图像是彩色的,则C=3);H为图像高度;W为图像宽度。

import torch
import torchvision
import torchvision.transforms as transforms
import matplotlib.pyplot as plt
import time
from IPython import display
mnist_train = torchvision.datasets.FashionMNIST(root='~/Datasets/FashionMNIST', train=True, download=True, transform=transforms.ToTensor())
mnist_test = torchvision.datasets.FashionMNIST(root='~/Datasets/FashionMNIST', train=False, download=True, transform=transforms.ToTensor())

3、查看数据集

\quad \quad 上面的mnist_trainmnist_test都是torch.utils.datadatasets的子类,所以我们可以用len()来获取该数据集的大小,还可以用下标来获取具体的一个样本。训练集和测试机中的每一个类别的图像数分别为6000和1000。因为有10个类别,所以训练集和测试集的样本数分别为60000和10000。

#数据集大小
print(type(mnist_train))
print(len(mnist_train), len(mnist_test))

<class ‘torchvision.datasets.mnist.FashionMNIST’>
60000 10000

\quad \quad 我们可以通过方括号[]来访问任意一个样本,下面获取第一个样本的图像和标签。

feature, label = mnist_train[0]
print(feature.shape, feature.dtype)  # Channel x Height X Width
print(label)

torch.Size([1, 28, 28]) torch.float32
9

\quad \quad 变量feature对应高和宽均为28像素的图像。每个像素的数值为0到255之间8位无符号整数(uint8)。它使用三维的NDArray存储。其中的最后一维是通道数。因为数据集中是灰度图像,所以通道数为1。为了表述简洁,我们将高和宽分别为 h h h w w w像素的图像的形状记为 h × w h \times w h×w(h,w)

4、图像可视化显示

1、首先定义一个函数,根据数值标签获取字符串标签

\quad \quad Fashion-MNIST中一共包括了10个类别,分别为t-shirt(T恤)、trouser(裤子)、pullover(套衫)、dress(连衣裙)、coat(外套)、sandal(凉鞋)、shirt(衬衫)、sneaker(运动鞋)、bag(包)和ankle boot(短靴)。以下函数可以将数值标签转成相应的文本标签。

# 本函数已保存在d2lzh_pytorch包中方便以后使用
def get_fashion_mnist_labels(labels):
    text_labels = ['t-shirt', 'trouser', 'pullover', 'dress', 'coat',
                   'sandal', 'shirt', 'sneaker', 'bag', 'ankle boot']
    return [text_labels[int(i)] for i in labels]

2、定义函数,一个可以在一行里画出多张图像和对应标签的函数:

# 本函数已保存在d2lzh_pytorch包中方便以后使用
def show_fashion_mnist(images, labels):
    display.set_matplotlib_formats('svg')#用矢量图进行展示
    # 这里的_表示我们忽略(不使用)的变量
    _, figs = plt.subplots(1, len(images), figsize=(12, 12))
    for f, img, lbl in zip(figs, images, labels):
        f.imshow(img.view((28, 28)).numpy())
        f.set_title(lbl)
        f.axes.get_xaxis().set_visible(False)
        f.axes.get_yaxis().set_visible(False)
    plt.show()

3、应用

现在,我们看一下训练数据集中前9个样本的图像内容和文本标签。

X, y = [], []
for i in range(10):
    X.append(mnist_train[i][0])
    y.append(mnist_train[i][1])
show_fashion_mnist(X, get_fashion_mnist_labels(y))

在这里插入图片描述

5、读取小批量数据

\quad \quad 在以后的深度学习模型中,优化参数时经常会用到小批量梯度下降(深度学习常称为随机梯度下降)算法,因此我们需每次读取小批量数据来进行每次迭代与更新。

\quad \quad 我们将在训练数据集上训练模型,并将训练好的模型在测试数据集上评价模型的表现。前面说过,上面的mnist_train都是torch.utils.datadatasets的子类,所以我们可以将其传入torch.utils.data.DataLoader来创建一个读取小批量数据样本的DataLoader实例。

\quad \quad 在实践中,数据读取经常是训练的性能瓶颈,特别当模型较简单或者计算硬件性能较高时。PyTorch的DataLoader中一个很方便的功能是允许使用多进程来加速数据读取。这里我们通过参数num_workers来设置4个进程读取数据。

import sys
batch_size = 256#自己设定值大小
if sys.platform.startswith('win'):
    num_workers = 0  # 0表示不用额外的进程来加速读取数据
else:
    num_workers = 4

train_iter = torch.utils.data.DataLoader(mnist_train,batch_size=batch_size, shuffle=True,num_workers=num_workers)
test_iter = torch.utils.data.DataLoader(mnist_test,batch_size=batch_size, shuffle=False,num_workers=num_workers)
                             

\quad \quad 我们将获取并读取Fashion-MNIST数据集的逻辑封装在d2lzh_pytorch.load_data_fashion_mnist函数中供后面章节调用。该函数将返回train_itertest_iter两个变量。随着本书内容的不断深入,我们会进一步改进该函数。它的完整实现将在“深度卷积神经网络(AlexNet)”一节中描述。

最后我们查看读取一遍训练数据需要的时间。

start = time.time()
for X, y in train_iter:
    continue
'%.2f sec' % (time.time() - start)

‘7.92 sec’

【完整代码】:

#导入所需包
import torch
import torchvision
import torchvision.transforms as transforms
import matplotlib.pyplot as plt
import time
import sys
from IPython import display
#1、下载数据集
mnist_train = torchvision.datasets.FashionMNIST(root='~/Datasets/FashionMNIST', train=True, download=True, transform=transforms.ToTensor())
mnist_test = torchvision.datasets.FashionMNIST(root='~/Datasets/FashionMNIST', train=False, download=True, transform=transforms.ToTensor())
# 2、查看数据集大小及单个样本,方便设定参数
print(type(mnist_train))
print(len(mnist_train), len(mnist_test))
feature, label = mnist_train[0]
print(feature.shape, feature.dtype)  # Channel x Height X Width
print(label)

#3、将数据集的数值标签转换为文本标签
# 本函数已保存在d2lzh_pytorch包中方便以后使用
def get_fashion_mnist_labels(labels):
    text_labels = ['t-shirt', 'trouser', 'pullover', 'dress', 'coat',
                   'sandal', 'shirt', 'sneaker', 'bag', 'ankle boot']
    return [text_labels[int(i)] for i in labels]
# 4、同一行画出图片和标签,可视化
# 本函数已保存在d2lzh_pytorch包中方便以后使用
def show_fashion_mnist(images, labels):
    display.set_matplotlib_formats('svg')#用矢量图进行展示
    # 这里的_表示我们忽略(不使用)的变量
    _, figs = plt.subplots(1, len(images), figsize=(12, 12))
    for f, img, lbl in zip(figs, images, labels):
        f.imshow(img.view((28, 28)).numpy())
        f.set_title(lbl)
        f.axes.get_xaxis().set_visible(False)
        f.axes.get_yaxis().set_visible(False)
    plt.show()

# 5、查看部分样本并可视化
X, y = [], []
for i in range(10):
    X.append(mnist_train[i][0])
    y.append(mnist_train[i][1])
show_fashion_mnist(X, get_fashion_mnist_labels(y))

# 小批量读取数据
batch_size = 256

if sys.platform.startswith('win'):
    num_workers = 0  # 0表示不用额外的进程来加速读取数据
else:
    num_workers = 4

train_iter = torch.utils.data.DataLoader(mnist_train,batch_size=batch_size, shuffle=True,num_workers=num_workers)
test_iter = torch.utils.data.DataLoader(mnist_test,batch_size=batch_size, shuffle=False,num_workers=num_workers)
                             

参考资料:

动手学深度学习

  • 17
    点赞
  • 159
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值