PyTorch学习笔记（二）图像数据增强

Environment

• OS: macOS Mojave
• Python version: 3.7
• PyTorch version: 1.4.0
• IDE: PyCharm

0. 写在前面

本文记录了使用 PyTorch 实现图像数据预处理的方法，包括数据增强和标准化。主要的工具为 torchvision.transform 模块中的各种类，要求传入的图片为 PIL.Image 类型的图片。

对图像数据进行变换，可以增加训练样本量。数据变换的方式很多，实际应用时，原则是使手头的训练数据与真实数据接近。例如，如果训练数据和真实数据的物体颜色有差别，那么可以采用色彩变换；如果训练数据和真实数据的物体位置常常差别，那么可以平移变换…

这里以经典的 Lenna 图片为例，选择一块大小为 299 x 299 的部分。

from PIL import Image

image = Image.open('Lenna.jpg')
print(type(image))
# <class 'PIL.JpegImagePlugin.JpegImageFile'>

print(np.array(img).shape)
# (299, 299, 3)

image.show()

1. 基本变换类

1.1 填充

• Pad 类，对图片边缘进行填充

只有当 padding_mode='constant' 时，参数 fill 才接收用于填充的值

from PIL import Image
from torchvision.transforms import Pad

image = Image.open('Lenna.jpg')

pad = Pad(
    padding=(10, 100),  # 传入整数 a 时，上下左右分别填充 a 个像素；
                        # 传入元组 (a, b) 时，左右填充 a 个像素，上下填充 b 个像素;
                        # 传入元组 (a, b, c, d) 时，左、上、右、下分别填充 a、b、c、d 个像素
    fill=(255, 64, 128),  # 每个通道用于填充的值，默认全为 0，黑色填充
    padding_mode='constant'  # constant, edge, reflect 或 symmetric
)
pad(image).show()

padding_mode='edge' 时，使用图像边界的像素值进行填充

padding_mode='reflect' 时，使用镜像进行填充，边界的像素值在填充中出现

padding_mode='symmetric' 时，使用镜像填充，边界的像素值将作为填充的第一个值

1.2 擦除

• RandomErasing 类，随机对图像区域进行遮挡

from PIL import Image
import numpy as np
import torch
from torchvision.transforms import RandomErasing

img_pil = Image.open('Lenna.jpg')
img_array = np.array(img_pil).transpose(2, 0, 1)  # transpose (H, W, C) -> (C, H, W)
img_tensor = torch.from_numpy(img_array)

random_erasing = RandomErasing(
    p=1.0,  # 概率值，执行该操作的概率，默认为 0.5
    scale=(0.02, 0.33),  # 按均匀分布概率抽样，遮挡区域的面积 = image * scale
    ratio=(0.3, 3.3),  # 遮挡区域的宽高比，按均匀分布概率抽样
    value='123',  # 遮挡区域的像素值，(R, G, B) or (Gray)；传入字符串表示用随机彩色像素填充遮挡区域
    inplace=False
)
# 注意，随机遮挡是对 (c, h, w) 形状的 tensor 进行操作，一般在 ToTensor 之后进行

erased_img_tensor = random_erasing(img_tensor)
erased_img_array = erased_img_tensor.numpy().transpose(1, 2, 0)  # (C, H, W) -> (H, W, C)
erased_img_pil = Image.fromarray(erased_img_array)
erased_img_pil.show()

1.3 缩放

• Resize 类，将图像缩放到设定的尺寸

from torchvision.transforms import Resize
from PIL import Image

image = Image.open('Lenna.jpg')

resize = Resize(
    size=(299, 224),  # (height, width)
    interpolation=2  # 插值方法，一般保持默认就好
)
resize(image).show()

注意 Resize的小坑

1.4 裁剪

• CenterCrop 类，将从图像中心裁剪出需要的尺寸

from torchvision.transforms import CenterCrop
from PIL import Image

image = Image.open('Lenna.jpg')

center_crop = CenterCrop(size=(224, 224))
center_crop(image).show()

• RandomCrop 类，随机在图片某个位置裁剪出需要的尺寸

from torchvision.transforms import RandomCrop
from PIL import Image

image = Image.open