深度学习37——数据增强

1 定义

扩展用于训练模型的数据量的过程称为数据增强。

2 数据增强类别2种

（1）离线增强。预先进行所有必要的变换，从根本上增加数据集的规模（例如，通过翻转所有图像，保存后数据集数量会增加2倍）。
（2）在线增强，或称为动态增强。可通过对即将输入模型的小批量数据的执行相应的变化，这样同一张图片每次训练被随机执行一些变化操作，相当于不同的数据集了。

3 数据增强技术

4 tf的数据增强api

5 pytorch的12种数据增强方法

因为介绍的是数据增强技术。所以只使用一张图片就可以了，我们先看看可视话的代码

 import PIL.Image as Image  
 import torch  
 from torchvision import transforms  
 import matplotlib.pyplot as plt  
 import numpy as np  
 import warnings  
 def imshow\(img\_path, transform\):  
  """  
  Function to show data augmentation  
  Param img\_path: path of the image  
  Param transform: data augmentation technique to apply  
  """  
  img = Image.open\(img\_path\)  
  fig, ax = plt.subplots\(1, 2, figsize=\(15, 4\)\)  
  ax\[0\].set\_title\(f'Original image \{img.size\}'\)  
  ax\[0\].imshow\(img\)  
  img = transform\(img\)  
  ax\[1\].set\_title\(f'Transformed image \{img.size\}'\)  
  ax\[1\].imshow\(img\)

5.1 Resize/Rescale

此函数用于将图像的高度和宽度调整为我们想要的特定大小。下面的代码演示了我们想要将图像从其原始大小调整为 224 x 224。

 path = './kitten.jpeg'  
 transform = transforms.Resize\(\(224, 224\)\)  
 imshow\(path, transform\)

5.2 Cropping

该技术将要选择的图像的一部分应用于新图像。例如，使用 CenterCrop 来返回一个中心裁剪的图像。

 transform = transforms.CenterCrop\(\(224, 224\)\)  
 imshow\(path, transform\)

5.3 RandomResizedCrop

这种方法同时结合了裁剪和调整大小。

 transform = transforms.RandomResizedCrop\(\(100, 300\)\)  
 imshow\(path, transform\)

5.4 Flipping

水平或垂直翻转图像，下面代码将尝试应用水平翻转到我们的图像。

 transform = transforms.RandomHorizontalFlip\(\)  
 imshow\(path, transform\)

5.5 Padding

填充包括在图像的所有边缘上按指定的数量填充。我们将每条边填充50像素。

 transform = transforms.Pad\(\(50,50,50,50\)\)  
 imshow\(path, transform\)

5.6 Rotation

对图像随机施加旋转角度。我们将这个角设为15度。

 transform = transforms.RandomRotation\(15\)  
 imshow\(path, transform\)

5.7 Random Affine

这种技术是一种保持中心不变的变换。这种技术有一些参数：

degrees：旋转角度

translate：水平和垂直转换

scale：缩放参数

share：图片裁剪参数

fillcolor：图像外部填充的颜色

 transform = transforms.RandomAffine\(1, translate=\(0.5, 0.5\), scale=\(1, 1\), shear=\(1,1\), fillcolor=\(256,256,256\)\)  
 imshow\(path, transform\)

5.8 Gaussian Blur

图像将使用高斯模糊进行模糊处理。

 transform = transforms.GaussianBlur\(7, 3\)  
 imshow\(path, transform\)

5.9 Grayscale

将彩色图像转换为灰度。

 transform = transforms.Grayscale\(num\_output\_channels=3\)  
 imshow\(path, transform\)

颜色增强，也称为颜色抖动，是通过改变图像的像素值来修改图像的颜色属性的过程。下面的方法都是颜色相关的操作。

5.10 Brightness

改变图像的亮度当与原始图像对比时，生成的图像变暗或变亮。

 transform = transforms.ColorJitter\(brightness=2\)  
 imshow\(path, transform\)

5.11 Contrast

图像最暗和最亮部分之间的区别程度被称为对比度。图像的对比度也可以作为增强进行调整。

transform = transforms.ColorJitter(contrast=2)
imshow(path, transform)

5.12 Saturation

图片中颜色的分离被定义为饱和度。

 transform = transforms.ColorJitter\(saturation=20\)  
 imshow\(path, transform\)

5.13 Hue

色调被定义为图片中颜色的深浅。

 transform = transforms.ColorJitter\(hue=2\)  
 imshow\(path, transform\)

总结
图像本身的变化将有助于模型对未见数据的泛化，从而不会对数据进行过拟合。以上整理的都是我们常见的数据增强技术，torchvision中还包含了很多方法，可以在他的文档中找到：https://pytorch.org/vision/stable/transforms.html