PyTorch之Dataset和TensorDataset

Deep Learning系列 @cxx

Dataset v.s. TensorDataset

使用PyTorch搭建过Neural Network的小伙伴们都知道，在数据准备步骤里，我们需要把训练集的x和y分装在dataset里，然后将dataset分装到DataLoader中去，便于之后在搭建好的模型中训练。
简言之，dataset是用来做打包和预处理（比如输入资料路径自动读取）；DataLoader则是将整个资料集（dataset）按照batch进行迭代分装或者shuffle（可以得到一个iterator以利于for循环读取）。

Dataset

如果使用继承Dataset的方式，那么在自定义的dataset类中必须给予__len__和__getitem__的定义。
进行图片处理的时候，可以定义一个transforms来随机旋转训练图片，将图片格式变成tensor等
（这里有一个坑）

假设我们读取了一个有如下格式的图片

将图片分装到dataset里，再放到dataloader里

from torch.utils.data import TensorDataset
batch_size = 128
train_transform = transforms.Compose([
    transforms.ToPILImage(),
    transforms.RandomHorizontalFlip(),
    transforms.RandomRotation(15),
    transforms.ToTensor(),]