没有足够多的数据怎么办？计算机视觉数据增强方法总结

©PaperWeekly 原创 · 作者｜燕皖

单位｜渊亭科技

研究方向｜计算机视觉、CNN

当没有足够多的数据量时该怎么办？学者们针对这一问题已经研发看各种巧妙的解决方案，以避在深度学习模型中数据少的问题。近来，在做活体检测和打 Kaggle 比赛过程中查找了很多相关文献和资料，现整理后与大家分享。一般有以下几种方法解决的数据量少的问题：

Transfer learning：其的工作原理是在大型数据集（如 ImageNet）上训练网络，然后将这些权重用作新的分类任务中的初始权重。通常，仅复制卷积层中的权重，而不复制包括完全连接的层的整个网络。这是非常有效的，因为许多图像数据集共享低级空间特征，而大数据可更好地学习这些特征。

Self/Semi Supervised learning：传统上，要么选择有监督的路线，然后只对带有标签的数据进行学习；要么将选择无监督的路径并丢弃标签，以进行 Self Supervised learning，而 Semi Supervised learning 这类方法就是训练模型的时候，仅需要使用少量标签和大量未标签的数据。

Few/One-shot and Zero-shot learning：Few/One-Shot Learning 目的在于从每个类别中的少量样本/一个样本中学习有关对象的特征，而 Zero-Shot Learning 的核心目标在于用训练好的模型对训练集中没有出现过的类别进行相应的预测。近些年 Few/One-Shot Learning 和 Zero-Shot Learning 技术发展迅速，模型的性能得到了大幅度的提升。

Regularization technique：如 dropout、batch normalization 等等正则化方法也能够缓解数据量过少带来的过拟合现象。

Data Augmentation：数据增强是根据已有的数据生成新的数据。与上述技术相反，数据增强从问题的根源（训练数据集）着手解决问题。使用数据增强方法扩展数据集不仅有助于利用有限的数据，还可以增加训练集的多样性，减少过度拟合并提高模型的泛化能力。

在本文中，我们将重点关注 Data Augmentation，因为计算机视觉是当前研究领域中最活跃的领域之一，所以，本文更聚焦于图像增强，但是其中很多技术技术都可以应用于其他领域。我们把图像的数据增强分为以下 4 类：

• Basic Image

• • Geometric Transformations

  • Color Space Transformations

  • RandomRrase/GridMask

  • Mixup/Cutmix

  • Mosaic

• Feature space augmentation

• • MoEx

• GAN-based Data Augmentation

• NAS

• • AutoAugment

  • Fast AutoAugment

  • DADA

• Other

• • UDA

基本图像处理的扩增

常见的就是对图像进行几何变换，图像翻转，裁剪，旋转和平移等等，还可以使用对比度，锐化，白平衡，色彩抖动，随机色彩处理和许多其他技术来更改图像的色彩空间。

此外，还可以使用遮挡类的方法，如 CutOut、RandomRrase、GridMask。Cutmix 就是将一部分区域 cut 掉但不填充 0 像素而是随机填充训练集中的其他数据的区域像素值，分类结果按一定的比例分配，CutMix 的操作使得模型能够从一幅图像上的局部视图上识别出两个目标，提高训练的效率。

而 Mosaic 数据增强方法是 YOLOV4 论文中提出来的，主要思想是将四张图片进行随机裁剪，再拼接到一张图上作为训练数据，这样做的好处是丰富了图片的背景。

基础的图形扩增方法在很多深度学习框架中都有实现&#x