Pytorch的数据加载

PyTorch将数据集的处理过程标准化，提供了Dataset基本的数据 类，并在torchvision中提供了众多数据变换函数，数据加载的具体过程 主要分为3步：
1．继承Dataset类
对于数据集的处理，PyTorch提供了torch.utils.data.Dataset这个抽象 类，在使用时只需要继承该类，并重写__len__()和__getitem()__函数， 即可以方便地进行数据集的迭代。

from torch.utils.data import Dataset
class my_data(Dataset):
     def _init_(self，image_path,annotation_path,transform-None):
     #初始化，读取数据集
 def _len_(self):
      #获取数据集的总大小
  def _getitem_(self,id):
      #对于指定的id，读取数据并返回

对上述初始化的·实际使用：

dataset = my_data("your image path", "your annotation path")
 # 实例化该类 for data in dataset:
     print(data)

2．数据变换与增强：torchvision.transforms
第一步虽然将数据集加载到了实例中，但在实际应用时，数据集中 的图片有可能存在大小不一的情况，并且原始图片像素RGB值较大 （0~255），这些都不利于神经网络的训练收敛，因此还需要进行一些 图像变换工作。PyTorch为此提供了torchvision.transforms工具包，可以 方便地进行图像缩放、裁剪、随机翻转、填充及张量的归一化等操作， 操作对象是PIL的Image或者Tensor。
如果需要进行多个变换功能，可以利用transforms.Compose将多个 变换整合起来，并且在实际使用时，通常会将变换操作集成到Dataset的 继承类中。具体示例如下：

from torchvision import transforms
#将transform集成到dataset类中，使用compose将多个变换整合到一起
dataset = my_data("your image path","your annotation path",transforms=transforms.Compose([
transforms.Resize(256) #将图像最短边缩小至256，宽高比例不变
#以0.5的概率随即翻转指定的PIL图像
transforms.RandomHorizaontalFlip()
#将PIL图像转为Tensor，元素区间从[0,255]归一化到[0,1]
transforms.ToTensor()
#进行mean与std为0.5的标准化
transforms.Normalize([0.5,0.5,0.5],[0.5,0.5,0.5])
]))

3．继承dataloader
经过前两步已经可以获取每一个变换后的样本，但是仍然无法进行 批量处理、随机选取等操作，因此还需要torch.utils.data.Dataloader类进 一步进行封装，使用方法如下例所示，该类需要4个参数，第1个参数是 之前继承了Dataset的实例，第2个参数是批量batch的大小，第3个参数是 是否打乱数据参数，第4个参数是使用几个线程来加载数据。

from torch.utils.data import Dataloader
# 使用Dataloader进一步封装Dataset 
dataloader = Dataloader(dataset, batch_size=4,                                 shuffle=True, num_workers=4)

dataloader是一个可迭代对象，对该实例进行迭代即可用于训练过程。

data_iter = iter(dataloader)
for step in range(iters_per_epoch):
 data = next(data_iter)        # 将data用于训练网络即可