cut out数据增强_CNN中的数据增强简单总结

data aug是防止overfit一种重要手段，在实际应用中，data aug往往带来出乎意料的涨点。

首先分享两篇不错的材料。一是19年6月份一篇关于data aug的综述文章。A survey on Image Data Augmentation for Deep Learning​www.researchgate.net

二是海康威视研究院ImageNet2016数据增强经验分享。【高手之道】海康威视研究院ImageNet2016竞赛经验分享​mp.weixin.qq.com

以下进入正题。

最常见的data aug是crop、expand、color jitter等等。这些操作SSD用的比较溜，具体可参考SSD的data部分代码，我以前也记录过相关笔记。SSD代码解读(二)--Data Augmentation​blog.csdn.net

这里推荐一个适用于data aug的库imgaug，各种操作非常全面且例程多还容易上手。https://github.com/aleju/imgaug​github.com

除了这些常见的空间变换和色彩抖动等操作外，笔者自行总结主要还有以下几类工作。

生成遮挡类

这类方法通过生成mask，然后遮挡原图片部分区域，并不改变label 进行训练。

当目标discriminative部位被遮挡后，网络会被迫使根据遗留的部分去寻找其它关键性部位，从而提升模型性能。

Cutout [1] 和 Random Erase [2]是比较类似的方法，如下图所示。这类方法要注意的是，生成的mask区域有可能会完全覆盖掉目标，这种情况可能会给模型训练带来坏处。Random Erase示意图

Cutout代码链接uoguelph-mlrg/Cutout​github.com

Random Erase代码链接zhunzhong07/Random-Erasing​github.com

HaS[3] 通过将图片划分为S*S个格子，在每个epoch内，对每个格子以一定概率随机进行遮挡，如下图。相较于Cutout，HaS生成多个遮挡块，产生更多类型的遮挡形式，对遮挡的鲁棒性更强。HaS示意图

HaS代码链接kkanshul/Hide-and-Seek​github.com

GridMask [4]通过定量计算生成多个遮挡块来提升模型性能，如下图。这样做一可以避免类似于Cutout生成一个大的遮挡块从而完全覆盖掉目标，二相对于HaS可以更好的控制原图片中遮挡与保留的比例。GridMask 在多个task和benchmark上都表现出了SOTA的水平。GridMask示意图

GridMask 代码链接https://github.com/akuxcw/GridMask​github.com

图片混合类

这类方法中最出名的便数Mixup [5]，通过线性叠加两张图片生成新的图片，对应label也进行线性叠加用以训练，多个benchmark上证明了Mixup 的有效性。同期还有个SamplePairing [6]工作，直接对两幅图片像素相加求平均，监督的label不变。训练时间歇使用SamplePairing，待精度稳定后，停止使用SamplePairing。本质上来说，SamplePairing和Mixup区别还是比较大的，Mixup是在训练集不涵盖的空间用线性关系去约束模型，SamplePairing则更像是人为引入错误样本，相当于定期添加噪声来防止过拟合。遗憾的是，SamplePairing没有被ICLR2018录用。

Mixup代码链接hongyi-zhang/mixup​github.com

基于Mixup，后续涌现出一些很棒的工作。Mixmatch [7]将Mixup引入到半监督学习中，仅用少量的标记数据，就使半监督学习的预测精度逼近监督学习。Manifold mixup [8]通过对Hidden States进行插值，取得了优于Mixup的效果。

Manifold mixup代码链接https://github.com/vikasverma1077/manifold_mixup​github.com

CutMix [9]可以说是图片混合类工作，也可以说是生成遮挡类工作。不同于遮挡类工作一般使用零像素"黑布"来遮挡图片，CutMix使用另一张图片的一个区域来覆盖遮挡区域。因此CutMix可以看成Cutout和Mixup的结合体，既使用了遮挡的思想，又使用了mixup的逐像素线性叠加，当然此处的线性矩阵只含有0,1两个元素。生成图片的标签，和mixup一样，也使用线性叠加的label。CutMix 在多个task和benchmark上也都展现了杰出的效果。CutMix 示意图

CutMix 代码链接https://github.com/clovaai/CutMix-PyTorch​github.com

搜索类

这一块的工作目前还算比较多。推荐Quoc V. Le大神的两篇工作[10]和 [11].

这两篇工作比较类似，[10]主要用于分类任务，[11]则是用在目标检测中。AutoAugment数据增强policy

变换方法：[10]定义了16中图像变换操作，包括PIL库中提供的14个操作和Cutout和SamplePairing。[11]从 Color operations、 Geometric operations和 Bounding box operations三个角度定义了22中图像变换操作。

搜索空间：预测的data aug policy共包含K个sub-policy，每个sub-policy包含N个图像变换方法，每个方法有两个属性：概率P和幅度magnitude。其中P离散为M个值，magnitude离散为L个值。因此[10][11]搜索空间分别为

和

。

[10]和[11]均使用了常见的 RNN 控制器+RL的方法，proximal policy optimization (PPO) 算法。

AutoAugment代码链接tensorflow/models​github.com

[11]代码链接https://github.com/tensorflow/tpu/tree/master/models/official/detection​github.com

除了对train data进行aug，还有很多通过学习generator来生成data达到aug的搜索工作。

除了本文总结的几类方法，还有一些GAN_based等方法，本人在实际应用中并未涉及到，暂时便不做归纳总结，以后若有需要再添加上，读者可自行参阅前面分享的综述文。

Reference

[1] Terrance Devries and Graham W. Taylor. "Improved regularization of convolutional neural networks with cutout." arXiv preprint arXiv:1708.04552(2017).

[2] Zhun Zhong, Liang Zheng, Guoliang Kang, Shaozi Li, and Yi Yang. "Random erasing data augmentation." arXiv preprint arXiv:1708.04896(2017).

[3] Krishna Kumar Singh, Hao Yu, Aron Sarmasi, Gautam Pradeep, and Yong Jae Lee. "Hide-and-seek: A data aumentation technique for weakly-supervised localization and beyond." arXiv preprint arXiv:1811.02545(2018).

[4] Pengguang Chen, Shu Liu, Hengshuang Zhao and Jiaya Jia. "GridMask Data Augmentation." arXiv preprint arXiv:2001.04086(2020).

[5] Hongyi Zhang, Moustapha Cisse, Yann N. Dauphin and David Lopez-Paz."mixup: Beyond empirical risk minimization." arXiv preprint arXiv:1710.09412(2017).

[6] Hiroshi Inoue. "Data Augmentation by Pairing Samples for Images Classification". arXiv preprint arXiv:1801.02929(2018).

[7] David Berthelot, Nicholas Carlini, Ian Goodfellow, Nicolas Papernot, Avital Oliver and Colin Raffel. "MixMatch: A Holistic Approach to Semi-Supervised Learning" arXiv preprint arXiv:1905.02249(2019).

[8] Vikas Verma, Alex Lamb, Christopher Beckham, Amir Najafi, Ioannis Mitliagkas, David Lopez-Paz and Yoshua Bengio. "Manifold Mixup: Better Representations by Interpolating Hidden States."arXiv preprint arXiv:1806.05236(2018).

[9] Sangdoo Yun, Dongyoon Han, Seong Joon Oh, Sanghyuk Chun, Junsuk Choe and Youngjoon Yoo. "CutMix: Regularization Strategy to Train Strong Classifier with Localizable Features." arXiv preprint arXiv:1905.04899(2019).

[10] Ekin D. Cubuk, Barret Zoph, Dandelion Mané, Vijay Vasudevan and Quoc V. Le. "AutoAugment: Learning Augmentation Policies from Data." arXiv preprint arXiv:1805.09501(2018).

[11] Barret Zoph, Ekin D. Cubuk, Golnaz Ghiasi, Tsung-Yi Lin, Jonathon Shlens and Quoc V. Le. "Learning Data Augmentation Strategies for Object Detection." arXiv preprint arXiv:1906.11172(2019).