数据增强（图像处理）

最新推荐文章于 2024-05-01 17:04:51 发布

ICUD

最新推荐文章于 2024-05-01 17:04:51 发布

阅读量1.4k

点赞数 1

原文链接：https://zhuanlan.zhihu.com/p/41679153

版权

我们常常会遇到数据不足的情况。比如，你遇到的一个任务，目前只有小几百的数据，然而，你知道目前现在流行的最先进的神经网络都是成千上万的图片数据。你知道有人提及大的数据集是效果好的保证。对自己数据集小感到失望，你怀疑在我的小数据集上能使我的“最先进的”神经网络能表现好吗？

答案是：是！在我们开始是这件事发生之前，我们需要先反思几个问题。

1. 为什么需要大量的数据？

流行的神经网络的参数的个数

当你训练一个机器学习mode时候，你真正做的就是调参以便它能将输入（比如图片）映射到输出（比如标签）。我们优化目标是追求我们模型损失较低的最佳点，当参数以正确的方式调整时就会发生这种情况。

最领先的神经网络有着数百万的参数！

显然，如果你有很多参数，你需要给你的模型足够比例的样本。同样，你需要的参数的个数与你任务的复杂度成比例。

2. 如果没有很多数据，我怎么去获得更多数据？

你不必寻找新奇的图片增加到你的数据集中。为什么？因为，神经网络在开始的时候并不是那么聪明。比如，一个欠训练的神经网络会认为这三个如下的网球是不同、独特的图片。

相同的网球，但被移位(translated)了

所以，为了获得更多的数据，我们只要对现有的数据集进行微小的改变。比如旋转（flips）、移位（translations）、旋转（rotations）等微小的改变。我们的网络会认为这是不同的图片。

数据增强演示

一个卷积神经网络，如果能够对物体即使它放在不同的地方也能稳健的分类，就被称为具有不变性的属性。更具体的，CNN可以对移位（translation）、视角（viewpoint）、大小（size）、照明（illumination）（或者以上的组合）具有不变性。

这本质上是数据增强的前提。在现实场景中，我们可能会有一批在有限场景中拍摄的数据集。但是我们的目标应用可能存在于不同的条件，比如在不同的方向、位置、缩放比例、亮度等。我们通过额外合成的数据来训练神经网络来解释这些情况。

如果我有很多的数据，数据增强会有用吗？

是的。它能增加你数据集中相关数据的数据量。这与神经网络的学习方式有关。让我们用一个例子来阐述它。

在我们的假想数据集中分为两类。左侧为品牌A（Ford），有车为品牌B（Chevrolet）

假设我们有一个数据集，含两种品牌的车，如上所示。我们假设A品牌的车都如上面左侧一样对其（所有的车头朝向左侧）。同样B如右侧（所有的都朝向右侧）。现在，你将你的数据集送入“最先进的”神经网络，你希望等训练结束后获得令人印象深刻的结果。

Ford车（A品牌）却朝向右侧

当训练结束后，你送入上面的品牌A车的图片。但是你的神经网络却认为它是一辆B品牌的车！你很困惑。难道不是刚刚通过这个“最先进的”神经网络获得了95%的准确率吗？我不是夸张，这个事情以往发生过[2]。

为什么发生了这件事？ 它的发生正是很多机器学习算法工作的院里。它会去寻找最能区分两个类别的、最明显的特征。这里，A品牌与B品牌最明显的区别是A都是朝向左侧，B是朝向右侧。

你的神经网络会与你喂给它的数据质量一样好或坏。

我们如何去阻止这件事发生呢？ 我们不得不减少数据集中不相关的特征。对于上面的轿车模型分类器，一个简单的方案是增加分别朝向原始方向反向的两种车的图片。更好的方法是，你可以从沿着水平方向翻转图片以便它们都朝着反方向！现在，在新数据集上训练神经网络，你将会获得你想要获得的性能。

通过执行数据增强，你可以阻止神经网络学习不相关的特征，从根本上提升整体性能。

3. 入门

在我们开始各种增强技术之前，有一问题我们必须考虑清楚

在我们的机器学习管道（pipeline）的何处进行增强数据呢？

答案似乎很显然，在我们喂入模型之前，进行数据增强，对吧？是的，但是你有两个选项。一种是事先执行所有转换，实质上会增强你的数据集的大小。另一种选项是在送入机器学习之前，在小批量（mini-batch）上执行这些转换。

第一个选项叫做线下增强（offline augmentation）。这种方法适用于较小的数据集（smaller dataset）。你最终会增加一定的倍数的数据集，这个倍数等于你转换的个数。比如我要翻转我的所有图片，我的数据集相当于乘以2。

第二种方法叫做线上增强（online augmentation）或在飞行中增强（augmentation on the fly）。这种方法更适用于较大的数据集（larger datasets），因为你无法承受爆炸性增加的规模。另外，你会在喂入模型之前进行小批量的转换。一些机器学习框架支持在线增强，可以再gpu上加速。

4. 流行的数据增强技术

在本章节中，我们会展示一些基本的但是很强大的、流行的增强技术。在我们探索这些技术之前，简便起见，我们做一个假设，假设我们不需要考虑图片边界之外的东西。我们会使用以下技术，使我们的假设有效。

如果我们使用一种技术迫使我们猜出图像边界之外的东西，会发生什么？在这种情况下，我们需要插入一些信息。在我们介绍了增强类型之后，我们将详细讨论这个问题。

对于这些技术中的每一种，我们还指定了数据集大小增加的因子，也称为数据增强因子（Data Augmentation Factor）。

4.1 翻转（Flip）

可以对图片进行水平和垂直翻转。一些框架不提供垂直翻转功能。但是，一个垂直反转的图片等同于图片的180度旋转，然后再执行水平翻转。下面是我们的图片翻转的例子。

从左侧开始，原始图片，水平翻转的图片，垂直翻转的图片。

你可以使用你喜欢的工具包进行下面的任意命令进行翻转，数据增强因子=2或4

# NumPy.'img' = A single image.
flip_1 = np.fliplr(img)
# TensorFlow. 'x' = A placeholder for an image.
shape = [height, width, channels]
x = tf.placeholder(dtype = tf.float32, shape = shape)
flip_2 = tf.image.flip_up_down(x)
flip_3 = tf.image.flip_left_right(x)
flip_4 = tf.image.random_flip_up_down(x)
flip_5 = tf.image.random_flip_left_right(x)

4.2 旋转（Rotation）

一个关键性的问题是当旋转之后图像的维数可能并不能保持跟原来一样。如果你的图片是正方形的，那么以直角旋转将会保持图像大小。如果它是长方形，那么180度的旋转将会保持原来的大小。以更精细的角度旋转图像也会改变最终的图像尺寸。我们将在下一节中看到我们如何处理这个问题。以下是以直角旋转的方形图像的示例。

当我们从左向右移动时，图像相对于前一个图像顺时针旋转90度。

你可以使用你喜欢的工具包执行以下的旋转命令。数据增强因子= 2或4。

# Placeholders: 'x' = A single image, 'y' = A batch of images
# 'k' denotes the number of 90 degree anticlockwise rotations
shape = [height, width, channels]
x = tf.placeholder(dtype = tf.float32, shape = shape)
rot_90 = tf.image.rot90(img, k=1)
rot_180 = tf.image.rot90(img, k=2)
# To rotate in any angle. In the example below, 'angles' is in radians
shape = [batch, height, width, 3]
y = tf.placeholder(dtype = tf.float32, shape = shape)
rot_tf_180 = tf.contrib.image.rotate(y, angles=3.1415)
# Scikit-Image. 'angle' = Degrees. 'img' = Input Image
# For details about 'mode', checkout the interpolation section below.
rot = skimage.transform.rotate(img, angle=45, mode='reflect')

4.3 缩放比例（Scale）

图像可以向外或向内缩放。向外缩放时，最终图像尺寸将大于原始图像尺寸。大多数图像框架从新图像中剪切出一个部分，其大小等于原始图像。我们将在下一节中处理向内缩放，因为它会缩小图像大小，迫使我们对超出边界的内容做出假设。以下是缩放的示例或图像。

从左到右，原始图像，向外缩放10%，向外缩放20%

您可以使用scikit-image使用以下命令执行缩放。数据增强因子=任意。

# Scikit Image. 'img' = Input Image, 'scale' = Scale factor
# For details about 'mode', checkout the interpolation section below.
scale_out = skimage.transform.rescale(img, scale=2.0, mode='constant')
scale_in = skimage.transform.rescale(img, scale=0.5, mode='constant')
# Don't forget to crop the images back to the original size (for 
# scale_out)

4.4 裁剪（Crop）

与缩放不同，我们只是从原始图像中随机抽样一个部分。然后，我们将此部分的大小调整为原始图像大小。这种方法通常称为随机裁剪。以下是随机裁剪的示例。仔细观察，你会发现此方法与缩放之间的区别。

从左至右，原始图像，左上角裁剪的图像，右下角裁剪的图像。裁剪的部分被缩放为原始图像大小。

你可以使用以下任何TensorFlow命令执行随机裁剪。数据增强因子=任意。

# TensorFlow. 'x' = A placeholder for an image.
original_size = [height, width, channels]
x = tf.placeholder(dtype = tf.float32, shape = original_size)
# Use the following commands to perform random crops
crop_size = [new_height, new_width, channels]
seed = np.random.randint(1234)
x = tf.random_crop(x, size = crop_size, seed = seed)
output = tf.images.resize_images(x, size = original_size)

4.5 移位（Translation）

移位只涉及沿X或Y方向（或两者）移动图像。在下面的示例中，我们假设图像在其边界之外具有黑色背景，并且被适当地移位。这种增强方法非常有用，因为大多数对象几乎可以位于图像的任何位置。这迫使你的卷积神经网络看到所有角落。

从左至右，原始图像，向右移位，向上移位

你可以使用以下命令在TensorFlow中执行转换。数据增强因子=任意。

# pad_left, pad_right, pad_top, pad_bottom denote the pixel 
# displacement. Set one of them to the desired value and rest to 0
shape = [batch, height, width, channels]
x = tf.placeholder(dtype = tf.float32, shape = shape)
# We use two functions to get our desired augmentation
x = tf.image.pad_to_bounding_box(x, pad_top, pad_left, height + pad_bottom + pad_top, width + pad_right + pad_left)
output = tf.image.crop_to_bounding_box(x, pad_bottom, pad_right, height, width)

4.6 高斯噪声（Gaussian Noise）

当您的神经网络试图学习可能无用的高频特征（大量出现的模式）时，通常会发生过度拟合。具有零均值的高斯噪声基本上在所有频率中具有数据点，从而有效地扭曲高频特征。这也意味着较低频率的组件（通常是您的预期数据）也会失真，但你的神经网络可以学会超越它。添加适量的噪音可以增强学习能力。

一个色调较低的版本是盐和胡椒噪音，它表现为随机的黑白像素在图像中传播。这类似于通过向图像添加高斯噪声而产生的效果，但可能具有较低的信息失真水平。

从左至右，原始图形，加入高斯噪声图片，加入盐和胡椒噪声图片

您可以在TensorFlow上使用以下命令为图像添加高斯噪声。数据增强因子= 2。

#TensorFlow. 'x' = A placeholder for an image.
shape = [height, width, channels]
x = tf.placeholder(dtype = tf.float32, shape = shape)
# Adding Gaussian noise
noise = tf.random_normal(shape=tf.shape(x), mean=0.0, stddev=1.0,
dtype=tf.float32)
output = tf.add(x, noise)

5. 高级增强技术

现实世界中，自然数据仍然可以存在于上述简单方法无法解释的各种条件下。例如，让我们承担识别照片中景观的任务。景观可以是任何东西：冻结苔原，草原，森林等。听起来像一个非常直接的分类任务吧？除了一件事，你是对的。我们忽略了影响照片表现中的一个重要特征 - 拍摄照片的季节。

如果我们的神经网络不了解某些景观可以在各种条件下（雪，潮湿，明亮等）存在的事实，它可能会将冰冻的湖岸虚假地标记为冰川或湿地作为沼泽。

缓解这种情况的一种方法是添加更多图片，以便我们考虑所有季节性变化。但这是一项艰巨的任务。扩展我们的数据增强概念，想象一下人工生成不同季节的效果有多酷？

条件对抗神经网络（Conditional GANs）来救援！

在没有进入血腥细节的情况下，条件GAN可以将图像从一个域转换为图像到另一个域。如果你认为这听起来太模糊，那就不是;这就是这个神经网络的强大功能[3]！以下是用于将夏季风景照片转换为冬季风景的条件GAN的示例。

使用CycleGAN改变季节，来源于[3]

上述方法是稳健的，但计算密集。更便宜的替代品将被称为神经风格转移（neural style transfer）。它抓取一个图像（又称“风格”）的纹理、氛围、外观，并将其与另一个图像的内容混合。使用这种强大的技术，我们产生类似于条件GAN的效果（事实上，这种方法是在cGAN发明之前引入的！）。

这种方法的唯一缺点是，输出看起来更具艺术性而非现实性。但是，有一些进步，如下面显示的深度照片风格转移（Deep Photo Style Transfer），有令人印象深刻的结果。

深度照片风格转移。请注意我们如何在数据集上生成我们想要的效果。来源是[12]

我们没有深入探索这些技术，因为我们并不关心它们的内在工作。我们可以使用现有的训练模型，以及转移学习的魔力，将其用于增强。

6. 关于插值（interpolation）的简要说明

如果您想要翻译不具有黑色背景的图像，该怎么办？如果你想向内扩展怎么办？或者以更精细的角度旋转？在我们执行这些转换后，我们需要保留原始图像大小。由于我们的图像没有关于其边界之外的任何信息，我们需要做出一些假设。通常，假设图像边界之外的空间在每个点都是常数0。因此，当您进行这些转换时，会得到一个未定义图像的黑色区域。

从左至右，图像顺时针旋转45度，向右移位，向内缩放。

但是这是个正确的假设吗？在现实世界的情况下，它主要是否定的。图像处理和ML框架有一些标准方法，您可以使用它们来决定如何填充未知空间。它们的定义如下。

从左至右，常数，边缘，反射，对称和包裹模式

6.1 常数（Constant）

最简单的插值方法是用一些常数值填充未知区域。这可能不适用于自然图像，但可以用于在单色背景下拍摄的图像。

6.2 边界（Edge）

在边界之后扩展图像的边缘值。此方法适用于温和移位。

6.3 反射（Reflect）

图像像素值沿图像边界反射。此方法适用于包含树木，山脉等的连续或自然背景。

6.4 对称（Symmetric）

该方法类似于反射，除了在反射边界处制作边缘像素的副本的事实。通常，反射和对称可以互换使用，但在处理非常小的图像或图案时会出现差异。

6.5 包裹（Wrap）

图像只是重复超出其边界，就好像它正在平铺一样。这种方法并不像其他方法那样普遍使用，因为它对很多场景都没有意义。

除此之外，你可以设计自己的方法来处理未定义的空间，但通常这些方法对大多数分类问题都可以。

7. 所以，如果我使用上述技术，我的机器学习算法会很健壮（robust），对吗？

如果你以正确的方式使用它，那么是的！你问的正确方法是什么？好吧，有时并非所有的增强技术都对数据集有意义。再考虑我们的汽车示例。以下是一些修改图像的方法。

从左至右，原始图像，水平翻转，180度旋转，90度顺时针旋转

当然，它们是同一辆车的照片，但你的目标应用可能永远不会看到以这些方向呈现的汽车。

例如，如果你只是想在路上对随机汽车进行分类，那么只有第二张图像才能在数据集上进行分类。但是，如果你拥有一家处理车祸的保险公司，并且你想要确定倒车，破车的车型，那么第三张图片就有意义了。对于上述两种情况，最后一张图像可能没有意义。

关键是，在使用增强技术时，我们必须确保不增加不相关的数据。

8. 真的值得努力吗？

你可能期待一些结果来激励你走得更远。很公平;我也有这个问题。让我用小的示例证明增强确实有效。您可以复制此实验以进行验证。

让我们创建两个神经网络，将数据分类为四类中的一类：猫，狮子，老虎或豹子。问题是，一个不会使用数据增加，而另一个则不会。您可以从此处下载数据集链接[4]。

如果你已经检查了数据集，你会发现每个类只有50个图像用于训练和测试显然，我们不能对其中一个分类器使用扩充。为了使机会更公平，我们使用迁移学习（Transfer Learning)[5]为模型提供了更少的数据量。

数据集中的四个类别

对于没有增强的那个，让我们使用VGG19网络。我在这里写了一个TensorFlow实现[6]，它基于这个实现[7]。一旦你克隆了我的仓库[6]，你可以从这里获得数据[4],并且vgg19.npy（用于迁移学习）在这里[8]。你现在可以建模验证表现了。

我同意，编写额外的数据扩充代码确实是需要功夫。所以，为了建立我们的第二个模型，我转向Nanonets[9]。他们在内部使用迁移学习和数据扩充，以使用最少的数据提供最佳结果。你需要做的就是在他们的网站[10]上传数据，并等待它们在他们的服务器上训练（通常大约30分钟）。你知道什么，它对我们的比较实验来说是完美的。

如果已完成培训，您可以请求调用其API来计算测试准确性。查看我的仓库以获取示例代码段（不要忘记在代码段中插入您的模型ID）。

Results
VGG19 (No Augmentation)- 76% Test Accuracy (Highest)
Nanonets (With Augmentation) - 94.5% Test Accuracy

令人印象深刻，不是吗？事实上，大多数模型在更多数据的情况下表现良好。所以为了提供一个具体的证明，我已经提到了下表。它显示了Cifar 10（C10）和Cifar 100（C100）数据集上流行神经网络的错误率。 C10 +和C100 +列是数据增强的错误率。

Cifar

感谢您阅读本文！如果你这样击中那个拍手按钮！希望它能够为数据扩充提供一些启示。如果您有任何疑问，可以在社交媒体[11]上给我打电话或给我发电子邮件（bharathrajn98@gmail.com）。

更多了解请参考[1]。

参考资料

ICUD

关注

1
点赞
踩
7

收藏

觉得还不错? 一键收藏
0
评论
数据增强（图像处理）

我们常常会遇到数据不足的情况。比如，你遇到的一个任务，目前只有小几百的数据，然而，你知道目前现在流行的最先进的神经网络都是成千上万的图片数据。你知道有人提及大的数据集是效果好的保证。对自己数据集小感到失望，你怀疑在我的小数据集上能使我的“最先进的”神经网络能表现好吗？答案是：是！在我们开始是这件事发生之前，我们需要先反思几个问题。1. 为什么需要大量的数据？流行的神经网络的参数的个数当你训练一个机器学习mode时候，你真正做的就是调参以便它能将输入（比如图片）映射到输出（比如标签）。我们优化目标是追求我们模
复制链接

扫一扫