图像分类数据集
Fashion-MNIST数据集
导入
%matplotlib inline
import torch
import torchvision
# torchvision 是PyTorch中专门用来处理图像的库
from torch.utils import data
#pytorch读取数据徐需要用到
from torchvision import transforms
# torchvision.transforms是专门用来对数据进行相关处理的,比如归一化,对PIL.Image进行裁减缩放等
from d2l import torch as d2l
d2l.use_svg_display()
读取数据集
- 通过框架中的内置函数将数据集下载并读取到内存中
- ToTensor和ToPILImage的理解
- Fashion-MNIST由10个类别的图像组成,每个类别由训练数据集中的6000张图像和测试数据集中的1000张图像组成。测试数据集(test dataset)不会用于训练,只用于评估模型性能。训练集和测试集分别包含60000和10000张图像。
- 每个输入图像的高度和宽度均为28像素。数据集由灰度图像组成,其通道数为1
- 灰度图像是每个像素只有一个采样颜色的图像,一般用二维矩阵表示;彩色(多通道)图像采用3维矩阵
- 如果一个像素点有RGB三种颜色来描述,那就是三通道,通过通道可以改变图像的色相和颜色;一个通道就是一幅灰度图像。
# 通过ToTensor实例将图像数据从PIL类型变换成32位浮点数格式,张量格式
# 并除以255使得所有像素的数值均在0到1之间
trans = transforms.ToTensor()
mnist_train = torchvision.datasets.FashionMNIST(
root="../data", train=True, transform=trans, download=True)
mnist_test = torchvision.datasets.FashionMNIST(
root="../data", train=False, transform=trans, download=True)
- Fashion-MNIST中包含的10个类别分别为t-shirt(T恤)、trouser(裤子)、pullover(套衫)、dress(连衣裙)、coat(外套)、sandal(凉鞋)、shirt(衬衫)、sneaker(运动鞋)、bag(包)和ankle boot(短靴)。以下函数用于在数字标签索引及其文本名称之间进行转换。
def get_fashion_mnist_labels(labels):
"""返回Fashion-MNIST数据集的文本标签。"""
text_labels = ['t-shirt', 'trouser', 'pullover', 'dress', 'coat', 'sandal', 'shirt', 'sneaker', 'bag', 'ankle boot']
return [text_labels[int(i)] for i in labels]
读取小批量
- 为了使我们在读取训练集和测试集时更容易,我们使用内置的数据迭代器(DataLoader),而不是从零开始创建一个。 回顾一下,在每次迭代中,数据加载器每次都会读取一小批量数据,大小为batch_size。我们在训练数据迭代器中还随机打乱了所有样本。
batch_size = 256
def get_dataloader_workers(): #@save
"""使用4个进程来读取数据。"""
return 4
train_iter = data.DataLoader(mnist_train, batch_size, shuffle=True, num_workers=get_dataloader_workers())
整合所有组件
- 定义load_data_fashion_mnist函数,用于获取和读取数据集,它返回训练集合验证集的数据迭代器,可选参数,用来将图像大小调整为另一个形状
def load_data_fashion_mnist(batch_size, resize=None):
"""下载Fashion-MNIST数据集,然后将其加载到内存中。"""
trans = [transforms.ToTensor()]
if resize:
trans.insert(0, transforms.Resize(resize))
trans = transforms.Compose(trans)
# compose类主要用于串联多个图片变换的操作
mnist_train = torchvision.datasets.FashionMNIST(
root="../data", train=True, transform=trans, download=True)
mnist_test = torchvision.datasets.FashionMNIST(
root="../data", train=False, transform=trans, download=True)
return (data.DataLoader(mnist_train, batch_size, shuffle=True,
num_workers=get_dataloader_workers()),
data.DataLoader(mnist_test, batch_size, shuffle=False,
num_workers=get_dataloader_workers()))
- 通过指定resize参数来测试load_data_fashion_mnist函数的图像大小调整功能
train_iter, test_iter = load_data_fashion_mnist(32, resize=64)
for X, y in train_iter:
print(X.shape, X.dtype, y.shape, y.dtype)
break