第一模块图像识别分类常用模块torch.utils.data.DataLoader

torch.utils.data.DataLoader使用方法

在pytorch中，提供了一种十分方便的数据读取机制，即使用torch.utils.data.Dataset与Dataloader组合得到数据迭代器。在每次训练时，利用这个迭代器输出每一个batch数据，并能在输出时对数据进行相应的预处理或数据增广操作。

同时，pytorch可视觉包torchvision中，继承torch.utils.data.Dataset，预定义了许多常用的数据集，并提供了许多常用的数据增广函数。
1. torch.utils.data.Dataset与torch.utils.data.DataLoader的理解
DataLoader类源码如下。先看看__init__中的几个重要的输入：
1、dataset，这个就是PyTorch已有的数据读取接口（比如torchvision.datasets.ImageFolder）或者自定义的数据接口的输出，该输出要么是torch.utils.data.Dataset类的对象，要么是继承自torch.utils.data.Dataset类的自定义类的对象。2、batch_size，根据具体情况设置即可。
3、shuffle，一般在训练数据中会采用。
4、collate_fn，是用来处理不同情况下的输入dataset的封装，一般采用默认即可，除非你自定义的数据读取输出非常少见。
5、batch_sampler，从注释可以看出，其和batch_size、shuffle等参数是互斥的，一般采用默认。
6、sampler，从代码可以看出，其和shuffle是互斥的，一般默认即可。
7、num_workers，从注释可以看出这个参数必须大于等于0，0的话表示数据导入在主进程中进行，其他大于0的数表示通过多个进程来导入数据，可以加快数据导入速度。
8、pin_memory，注释写得很清楚了： pin_memory (bool, optional): If True, the data loader will copy tensors into CUDA pinned memory before returning them. 也就是一个数据拷贝的问题。9、timeout，是用来设置数据读取的超时时间的，但超过这个时间还没读取到数据的话就会报错。
pytorch提供了一个数据读取的方法，其由两个类构成：torch.utils.data.Dataset和DataLoader
我们要自定义自己数据读取的方法，就需要继承torch.utils.data.Dataset，并将其封装到DataLoader中
torch.utils.data.Dataset表示该数据集，继承该类可以重载其中的方法，实现多种数据读取及数据预处理方式
torch.utils.data.DataLoader 封装了Data对象，实现单（多）进程迭代器输出数据集
下面我们分别介绍下torch.utils.data.Dataset以及DataLoader

1.1 torch.utils.data.Dataset

要自定义自己的Dataset类，至少要重载两个方法，len, getitem
__len__返回的是数据集的大小
__getitem__实现索引数据集中的某一个数据
除了这两个基本功能，还可以在__getitem__时对数据进行预处理，或者是直接在硬盘中读取数据，对于超大的数据集还可以使用lmdb来读取.
下面将简单实现一个返回torch.Tensor类型的数据集

from torch.utils.data import DataLoader, Dataset
import torch

class TensorDataset(Dataset):
    # TensorDataset继承Dataset, 重载了__init__, __getitem__, __len__
    # 实现将一组Tensor数据对封装成Tensor数据集
    # 能够通过index得到数据集的数据，能够通过len，得到数据集大小

    def __init__(self, data_tensor, target_tensor):
        self.data_tensor = data_tensor
        self.target_tensor = target_tensor

    def __getitem__(self, index):
        return self.data_tensor[index], self.target_tensor[index]

    def __len__(self):
        return self.data_tensor.size(0)

# 生成数据
data_tensor = torch.randn(4, 3)
target_tensor = torch.rand(4)

# 将数据封装成Dataset
tensor_dataset = TensorDataset(data_tensor, target_tensor)

# 可使用索引调用数据
print 'tensor_data[0]: ', tensor_dataset[0]

'''
输出
tensor_data[0]:  (
 0.6804
-1.2515
 1.6084
[torch.FloatTensor of size 3]
, 0.2058754563331604)
'''

# 可返回数据len
print 'len os tensor_dataset: ', len(tensor_dataset)

'''
输出：
len os tensor_dataset:  4
'''

1.2 torch.utils.data.Dataloader

Dataloader将Dataset或其子类封装成一个迭代器
这个迭代器可以迭代输出Dataset的内容
同时可以实现多进程、shuffle、不同采样策略，数据校对等等处理过程

tensor_dataloader = DataLoader(tensor_dataset,   # 封装的对象
                               batch_size=2,     # 输出的batchsize
                               shuffle=True,     # 随机输出
                               num_workers=0)    # 只有1个进程

# 以for循环形式输出
for data, target in tensor_dataloader: 
    print(data, target)

# 输出一个batch
print 'one batch tensor data: ', iter(tensor_dataloader).next()
# 输出batch数量
print 'len of batchtensor: ', len(list(iter(tensor_dataloader)))

'''
输出：
one batch tensor data:  [
 0.6804 -1.2515  1.6084
-0.1156 -1.1552  0.1866
[torch.FloatTensor of size 2x3]
, 
 0.2059
 0.6452
[torch.DoubleTensor of size 2]
]
len of batchtensor:  2
'''