使用PyTorch进行数据处理

  在深度学习中，数据的处理对于神经网络的训练来说十分重要，良好的数据（包括图像、文本、语音等）处理不仅可以加速模型的训练，同时也直接关系到模型的效果。本文以处理图像数据为例，记录一些使用PyTorch进行图像预处理和数据加载的方法。

---

数据的加载

  在PyTorch中，数据加载需要自定义数据集类，并用此类来实例化数据对象，实现自定义的数据集需要继承torch.utils.data包中的Dataset类。
  在继承Dataset实现自己的类时，需要实现以下两个Python魔法方法：

• __getitem__(index): 返回一个样本数据，当使用obj[index]时实际就是在调用obj.__getitem__(index)

• __len__()：返回样本的数量，当使用len(obj)时实际就是在调用obj.__len__()

  例如，以猫狗大战的二分类数据集为例，其加载过程如下：

import os
import torch as t
from torch.utils import data
from PIL import Image
import numpy as np

class dogCat(data.Dataset):
    def __init__(self,root): # root为数据存放目录
        imgs = os.listdir(root) #列出当前路径下所有的文件
        self.imgs = [os.path.join(root,img) for img in imgs] # 所有图片的路径
        #print(self.imgs)

	"""返回一个样本数据"""
    def __getitem__(self, item): 
        img_path = self.imgs[item] # 第item张图片的路径
        #dog 1 cat 0
        label = 1 if 'dog' in img_path.split('\\')[-1