Note-Albumentations: fast and flexible image augmentations

Content

• 数据增强的目的：

  • combat overfitting in deep convolutional neural networks (overfitting)
  • improve performance (correctness)
  • robustness?

• But

  • 文章只强调了快，快不代表有效（是否可以达到数据增强的目的？）
  • 与别的方法进行比较，该方法生成的图片是否可以提高网络的正确性以及降低过适度

• 缺点 即 改进思路

• 优点

  • fast

    the image processing speed varies in existing tools for image augmentation

  • flexible

    the list is typically limited to some variations and combinations of flipping, rotating, scaling, and cropping.

• 论文中提到的别的三种方法：

  • torchvision
  • keras
  • imgaug

• 需要先验证一下不同方法生成的图片是否相同

  发现是不同的，比如天气，imgaug和albumentations都可以添加 Cloud 天气，但实现方法和结果肯定是不同的，所以一定有好有坏

• 那么问题来了，如何进行改进呢？发现问题了，如何解决问题。问题是，论文提出的方法无法更有效地生成对抗样本。（数据增强本身就不是用来增强健壮性的！是为了提高过适度以及正确性的）

• 改进思路：要提高正确性以及降低过适度，换个角度想，就是要生成更可能多的对抗样本，因为经过大量对抗样本的训练，网络的正确性以及过适度问题都会得到改善。具体思路：在理解源码的基础上，结合对抗样本攻击方法，对提出的工具进行改进。

• 如果两种工具按照相同的要求生成了图像，但图1可以检测出网络的错误，而图2不可以，则可以认为图1相对图2来说，是对抗样本，因此，使用生成对抗样本的方法去改进工具是很有必要的。

• 应该不算是对抗样本，因为，对抗样本是添加扰动，但图1和图2本质上就是不一样的两张图像。

• 图像数据增强不就是一种test input generation technique？

• 可以参考的方法：

  • DeepXplore: neuron coverage
  • GAN has been successfully applied to advanced image transformation
  • DeepTest performed greedy search with nine different realistic image transformations: changing brightness, changing contrast, translation, scaling, horizontal shearing, rotation, blurring, fog effect, and rain effect

Reference

图像处理小知识-什么是掩膜（mask）