动手学深度学习学习笔记（8）

图像分类数据集 fashion mnist

使用torchversion包
1.torchversion.datasets:一些加载数的函数及常用的数据集接口
2.torchversion.models:包含常用的模型结构（含预训练模型），例如Alexnet，VGG，ResNet等。
3.torchversion.transforms:常用的图片变换，例如裁剪，旋转等。
4.torchvision.utils:其他有用的方法

获取数据集
导入需要的包和模块

import torch
import torchvision
import torchvision.transforms as transforms
import matplotlib.pyplot as plt
import time
import sys
sys.path.append("...")
#导入上层目录的d2lzh_pytorch
import d2lzh_pytorch as d2l

通过torchversion的torchvision.dataset来数据集。
第一次调用会从网上自动获取数据。
通过参数train来指定获取训练数据还是测试数据集。
测试数据集也叫测试集，只用来评估模型，并不用来训练模型。

指定参数transform = transforms.ToTensor() 使所有数据转化为Tensor，如果不进行转换则会返回PIL图片。
transforms.ToTensor()将尺寸为H×W×C且位于[0,255]的PIL图片或者数据类型为np.unit8的NumPy数组转换为尺寸为C×H×W且数据类型为torch.float32且位于[0.0,1.0]的Tensor

重点：由于像素值为0到255的整数，所以刚好是unit8所能表示的范围。包括transforms.ToTensor在内的一些关于图片的函数默认输入的是unit8型。
若不是可能报错或者结果出现问题。
如果用像素值为0到255来表示图片数据，那么一律将其类型设置为unit8。

mnist_train = torchvision.datasets.FashionMNIST(root = '~/Datasets/FashionMNIST',train = True,download = True,transform = transforms.ToTensor())
mnist_test = torchvision.datasets.FashionMNIST(root = '~/Datasets/FashionMNIST',train = False,download = True,transform = transforms.ToTensor())

mnist_train,mnist_test都是torch.utils.data.Dataset的子类。
所以可以用len（）来获取该数据集的大小，还可以用下标获取具体的样本。
有十个类别，训练集和测试集的样本数分别为60000和10000。

print(type(mnist_train))
print(len(mnist_train),len(mnist_test))

输出

<class 'torchvision.datasets.mnist.FashionMNIST'>
60000 10000

也可以通过下标来访问样本

feature,label = mnist_train[0]
print(feature.shape, label)

输出：

torch.Size([1, 28, 28]) 9

是宽高都是28像素的图像，由于使用了transforms.ToTensor(),所有每个像素都是[0.0,1.0]的32位浮点数。
重点，feature的尺寸通道在前，由于是灰度图像，所以通道数为1.
Fashion_mnist中一共有十个类别。
以下函数可以将相应的数值转化为相应的文本标签。

def get_fashion_mnist_labels(labels):
	text_labels = ['t_shirt','trouser','pullover','dress','coat',
	'sandal','shirt','sneaker','bag','ankle boot']
return [text_labels[int(i)] for i in labels]

下列函数可以在一行里画出多张图像和相应标签

def show_fashion_mnist(images,labels):
	use_svg_display()
	_,figs = plt.subplots(1,len(images),figsize = (12,12))
	#此处忽略了不使用的变量
	for f, img, lbl in zip(figs,images,labels):
		f.imshow(img.view((28,28)).numpy())
		f.set_title(lbl)
		f.axes.get_xaxis().set_visible(False)
		f.axes.get_yaxis().set_visible(False)
	plt.show()

读取前十个训练数据集中的样本图像和文本标签。

X, y = [],[]
for i in range (10);
	X.append(mnist_train[i][0])
	y.append(mnist_train[i][1])
show_fashion_mnist(X, get_fashion_mnist_labels(y))	

读取小批量
将mnist_mnist传入torch.utils.data.DataLoader来创建小批量读取数据样本。
DataLoader允许多进程来加速数据读取。
可以通过num_workers这个参数来设置进程个数

batch_size = 256
if sys.platform.startswith('win'):
	num_workers = 0
	#表示不需要额外的进程来加速读取数据
else:
	num_workers = 4
train_iter = torch.utils.data.DataLoader(mnist_train, batch_size = batch_size, shuffle = True, num_workers = num_workers)
test_iter = torch.utils.data.DataLoader(mnist_test, batch_size = batch_size, shuffle = False, num_workers = num_workers)		

查看读取一遍训练数据集需要的时间。

start = time.time()
for X,y in train_iter:
	cotinue
print('%.2f sec' % (time.time() - start))	

输出

2.34 sec