Pytorch入门学习（七）---- 数据加载和预处理的通用方法

torchvision的主要用途。

两种数据集：
1. 所有图片都在同一个文件夹内。（这个用 torch.utils.data.DataSet类就行！）
2. 不同类别的图片放在不同的文件夹。（用 torchvision.datasets.ImageFolder(‘image_dir_root’ )

大部分任务的数据都是第一种吧，第二种一般是分类任务，比如imagenet数据集有1000类，对应1000个文件夹。

目录结构如下：

root/ants/xxx.png
root/ants/xxy.jpeg
root/ants/xxz.png
.
.
.
root/bees/123.jpg
root/bees/nsdf3.png
root/bees/asd932_.png

注意：

torchvision包的三个用途：
1. 提供流行的model，同时可以针对常用数据集直接进行处理。
2. 还针对torch.utils.data.Dataset进行了扩充，主要就是有了针对这种不同类别图片放入不同文件夹的数据进行读取，torchvision.datasets.ImageFolder是torch.utils.data.Dataset的子类！都返回一个迭代器。
3. 提供现成的torchvision.transforms ，从而避免自己写的麻烦。

两种读取方法

一般用到：
1. torch.utils.data.Dataset(这是底层的)，或是继承自它的自定义类，或是继承自它的 torchvision.data.ImageFolder.
2. 对于1读取的图片，进行 torchvison.transforms来变换一下。
3. 对于2返回的迭代器，用 torch.utils.data.DataLoader用多线程读取。

读取流程示意

1. 自定义dataset类, 它是最底层的。重载 torch.utils.data.Dataset。至少重载三个函数：
__init__, __getitem__以及__len__.
这个主要负责从数据库中读取图片，但是我们读取的图片可能要经过各种变换，放缩之类的。所以在\__init__中可以把变换操作名称传入，在\__getitem__ 中先load图片，然后在img_transformed = self.transforms(img)。其中self.transforms是\__init__传入的参数。

2. 将torchvision.transforms.Compose函数作为参数，往自定义dataset类里面传
3. 将2返回的迭代器，用 torch.utils.data.DataLoader多线程读取

使用 torch.utils.data.Dataset针对 All images in One Folder

以官方例子 super_resolution为例：
首先在main中

train_set = get_training_set(opt.upscale_factor)
test_set = get_test_set(opt.upscale_factor)
training_data_loader = DataLoader(dataset=train_set, num_workers=opt.threads, batch_size=opt.batchSize, shuffle=True)
testing_data_loader = DataLoader(dataset=test_set, num_workers=opt.threads, batch_size=opt.testBatchSize, shuffle=False)

然后看 get_training_set，追踪到data.py，该脚本主要是对数据进行下载解压，以及

from os.path import exists, join, basename
from os import makedirs, remove
from six.moves import urllib
import tarfile
from torchvision.transforms import Compose, CenterCrop, ToTensor, Scale