沐神深度学习笔记7（2）

图像分类数据集的使用

以fashion_mnist为例

代码:

%matplotlib inline
import torch
import torchvision
from torch.utils import data
from torchvision import transforms
from d2l import torch as d2l

d2l.use_svg_display()
#采用svg格式的图像

1.读取数据集

代码：

trans = transforms.ToTensor()
mnist_train = torchvision.datasets.FashionMNIST(
    root="../data", train=True, transform=trans, download=True)
#这里，root表示存放数据集的位置，train = True表示这是一个训练数据集
#transforms=trans说明取出数据和要形成一个tensor而不是图片，download=true默认网上下载
mnsit_test = torchvision.datasets.FashionMNIST(
    root="../data", train=False, transform=trans, download=True)
#这是测试数据集，用于验证模型好坏

查看数据集大小：

第1个图片形状：

黑白图片，所以第一位为1，长和宽为28

定义两个函数可视化数据集：

def get_fashion_mnist_labels(labels):
    """返回Fashion_MNIST数据集的文本标签"""
    text_labels = [
        't-shirt', 'trouser', 'pullover', 'dress', 'coat',
        'sandal', 'shirt', 'sneaker', 'bag', 'ankle boot']
    return [text_labels[int(i)] for i in labels]

 上面的函数用于返回标签。

def show_images(imgs, num_rows, num_cols, title=None, scale=1.5):
    """绘制图像列表"""
    figsize = (num_cols * scale, num_rows * scale)
    _, axes = d2l.plt.subplots(num_rows, num_cols, figsize=figsize)
    axes = axes.flatten()
    for i, (ax, img) in enumerate(zip(axes, imgs)):
        if torch.is_tensor(img):
            # 图片张量
            ax.imshow(img.numpy())
        else:
            # PIL图片
            ax.imshow(img)
        ax.axes.get_xaxis().set_visible(False)
        ax.axes.get_yaxis().set_visible(False)
        if titles:
            ax.set_title(titles[i])
    return axes

上面的函数将图像一幅幅展示。

展示示例;

其中next（）表示拿到第一个小批量，iter（）用于返回一个迭代器对象。

 

读取小批量数据：

通过内置的迭代器我们每次可以轻松的读取batch_size个数据为一批次。

代码：

batch_size = 256

def get_dataloader_workers():
    """使用你自己定几个就是几个的进程读取数据"""
    return 4

train_iter = data.DataLoader(mnist_train, batch_size, shuffle=True,
                             num_workers=get_dataloader_workers())

查看读取数据所用时间

代码：

timer = d2l.Timer()
for X, y in train_iter:
#一个个扫描给定大小的数据
    continue
f'{timer.stop():.2f} sec'

整合所有组件：

代码：

def load_data_fashion_mnist(batch_size, resize=None):
#resize用于修改图片体型
    """下载Fashion-MNIST数据集，然后将其加载到内存中"""
    trans = [transforms.ToTensor()]
    if resize:
        trans.insert(0, transforms.Resize(resize))
    trans = transforms.Compose(trans)
    mnist_train = torchvision.datasets.FashionMNIST(
        root="../data", train=True, transform=trans, download=True)
    mnist_test = torchvision.datasets.FashionMNIST(
        root="../data", train=False, transform=trans, download=True)
    return (data.DataLoader(mnist_train, batch_size, shuffle=True,
                            num_workers=get_dataloader_workers()),
            data.DataLoader(mnist_test, batch_size, shuffle=False,
                            num_workers=get_dataloader_workers()))

图片大小改变测试: