pytorch学习之数据预处理（transforms）

pytorch-数据预处理（transforms模块机制）

通常在训练的时候要加上数据预处理，从而让模型能够更好的学习，提高泛化能力

torchvision：计算机视觉工具包

tochvison中包含一些常用的模块，例如：

• torchvision.transforms:常用的图像预处理方法
• torchvision.datasets：常用数据集的dataset实现，例如：MNIST、CIFAR-10、ImageNet
• torchvision.model：常用的模型预训练，AlexNet、VGG、ResNet、GoogLeNet

transforms图像处理

torchvision.transforms:图像预处理

通常pytorch中使用transforms一般在用的时候都会加上

import torchvision.transforms as transforms

然后进行transforms数据预处理，transform中包含大量的数据预处理方法

例如：

train_transform = transforms.Compose([
    transforms.Resize((32, 32)),
    transforms.RandomCrop(32, padding=4),
    transforms.ToTensor(),
    transforms.Normalize(norm_mean, norm_std),
])

valid_transform = transforms.Compose([
    transforms.Resize((32, 32)),
    transforms.ToTensor(),
    transforms.Normalize(norm_mean, norm_std),
])

训练的时候需要进行模拟，因此出现了随机裁剪，但是测试的就不需要了

接着将编写好的数据预处理模块直接编写的输送给dataset，
在dataset中通常都是在def __getitem__(self, index):中进行上述编写好的transform模块

    def __getitem__(self, index):
        path_img, label = self.data_info[index]
        img = Image.open(path_img).convert('RGB')     # 0~255

        if self.transform is not None:
            img = self.transform(img)   # 在这里做transform，转为tensor等等

        return img, label

然后在dataset加载到dataloader中，完成数据的预处理

transforms操作

• transforms.RandomChoice

功能：从一系列transforms方法中随机挑选一个

transforms.RandomChoice([transforms1, transforms2, transforms3])

• transforms.RandomApply

功能：依据概率执行一组transforms操作

transforms.RandomApply([transforms1, transforms2, transforms3], p=0.5)

• transforms.RandomOrder

功能：对一组transforms操作打乱顺序

transforms.RandomOrder([transforms1, transforms2, transforms3])

自定义transforms

自定义transforms要素：

• 仅接收一个参数，返回一个参数
• 注意上下游的输出与输入

数据增强实战

原则：让训练集和测试集更加接近