目录
1.内置数据集的预处理
内置的图像数据集,在paddlepaddle.vision.transforms下内置了预处理的函数
from paddle.vision import transforms
print('transforms: ', transforms.__all__)
#####
transforms: ['BaseTransform', 'Compose', 'Resize', 'RandomResizedCrop', 'CenterCrop',
'RandomHorizontalFlip', 'RandomVerticalFlip', 'Transpose', 'Normalize',
'BrightnessTransform', 'SaturationTransform', 'ContrastTransform', 'HueTransform',
'ColorJitter', 'RandomCrop', 'Pad', 'RandomRotation', 'Grayscale', 'ToTensor',
'to_tensor', 'hflip', 'vflip', 'resize', 'pad', 'rotate', 'to_grayscale', 'crop',
'center_crop', 'adjust_brightness', 'adjust_contrast', 'adjust_hue', 'normalize']
使用方式
直接使用:如水平翻转
import numpy as np
from PIL import Image
from paddle.vision.transforms import functional as F
# 创建一个图像
fake_img = (np.random.rand(256, 300, 3) * 255.).astype('uint8')
fake_img = Image.fromarray(fake_img)
#翻转
flpped_img = F.hflip(fake_img)
print(flpped_img.size)
######
(300, 256)
同时使用:使用Compose打包。可以同构以下方式随机调整图像的亮度、对比度、饱和度,并调整图像的大小,对图像的其他调整
import paddle
from paddle.vision.transforms import Compose, Resize, ColorJitter
# 定义想要使用的数据增强方式,这里包括随机调整亮度、对比度和饱和度,改变图片大小
transform = Compose([ColorJitter(), Resize(size=32)])
# 通过transform参数传递定义好的数据增强方法即可完成对自带数据集的增强
train_dataset = paddle.vision.datasets.MNIST(mode='test', transform=transform)
2.自定义数据集的预处理
对于自定义的数据集,你可以在数据集的构造函数中进行数据增强方法的定义,之后对 __getitem__
中返回的数据进行应用,就可以完成自定义数据增强。
import paddle
from paddle.io import Dataset
from paddle.vision.transforms import Compose, Resize
BATCH_SIZE = 64
BATCH_NUM = 20
IMAGE_SIZE = (28, 28)
CLASS_NUM = 10
class MyDataset(Dataset):
def __init__(self, num_samples):
super(MyDataset, self).__init__()
self.num_samples = num_samples
# 在 `__init__` 中定义数据增强方法,此处为调整图像大小
self.transform = Compose([Resize(size=32)])
def __getitem__(self, index):
data = paddle.uniform(IMAGE_SIZE, dtype='float32')
# 在 `__getitem__` 中对数据集使用数据增强方法
data = self.transform(data.numpy())
label = paddle.randint(0, CLASS_NUM-1, dtype='int64')
return data, label
def __len__(self):
return self.num_samples
# 测试定义的数据集
custom_dataset = MyDataset(BATCH_SIZE * BATCH_NUM)
print('=============custom dataset=============')
for data, label in custom_dataset:
print(data.shape, label.shape)
break
######
=============custom dataset=============
(32, 32) [1]