data aug是防止overfit一种重要手段,在实际应用中,data aug往往带来出乎意料的涨点。
首先分享两篇不错的材料。一是19年6月份一篇关于data aug的综述文章。A survey on Image Data Augmentation for Deep Learningwww.researchgate.net
二是海康威视研究院ImageNet2016数据增强经验分享。【高手之道】海康威视研究院ImageNet2016竞赛经验分享mp.weixin.qq.com
以下进入正题。
最常见的data aug是crop、expand、color jitter等等。这些操作SSD用的比较溜,具体可参考SSD的data部分代码,我以前也记录过相关笔记。SSD代码解读(二)--Data Augmentationblog.csdn.net
这里推荐一个适用于data aug的库imgaug,各种操作非常全面且例程多还容易上手。https://github.com/aleju/imgauggithub.com
除了这些常见的空间变换和色彩抖动等操作外,笔者自行总结主要还有以下几类工作。
生成遮挡类
这类方法通过生成mask,然后遮挡原图片部分区域,并不改变label 进行训练。
当目标discriminative部位被遮挡后,网络会被迫使根据遗留的部分去寻找其它关键性部位,从而提升模型性能。
Cutout [1] 和 Random Erase [2]是比较类似的方法,如下图所示。这类方法要注意的是,生成的mask区域有可能会完全覆盖掉目标,这种情况可能会给模型训练带来坏处。Random Erase示意图
Cutout代码链接uoguelph-mlrg/Cutoutgithub.com
Random Erase代码链接zhunzhong07/Random-Erasinggithub.com
HaS[3] 通过将图片划分为S*S个格子,在每个epoch内,对每个格子以一定概率随机进行遮挡,如下图。相较于Cutout,HaS生成多个遮挡块,产生更多类型的遮挡形式,对遮挡的鲁棒性更强。HaS示意图
HaS代码链接kkanshul/Hide-and-Seekgithub.com
GridMask [4]通过定量计算生成多个遮挡块来提升模型性能,如下图。这样做一可以避免类似于Cutout生成一个大的遮挡块从而完全覆盖掉目标,二相对于HaS可以更好的控制原图片中遮挡与保留的比例。GridMask 在多个task和benchmark上都表现出了SOTA的水平。GridMask示意图
GridMask 代码链接https://github.com/akuxcw/GridMaskgithub.com
图片混合类
这类方法中最出名的便数Mixup [5],通过线性叠加两张图片生成新的图片,对应label也进行线性叠加用以训练,多个benchmark上证明了Mixup 的有效性。同期还有个SamplePairing [6]工作,直接对两幅图片像素相加求平均,监督的label不变。训练时间歇使用SamplePairing,待精度稳定后,停止使用SamplePairing。本质上来说,SamplePairing和Mixup区别还是比较大的,Mixup是在训练集不涵盖的空间用线性关系去约束模型,SamplePairing则更像是人为引入错误样本,相当于定期添加噪声来防止过拟合。遗憾的是,SamplePairing没有被ICLR2018录用。
Mixup代码链接hongyi-zhang/mixupgithub.com
基于Mixup,后续涌现出一些很棒的工作。Mixmatch [7]将Mixup引入到半监督学习中,仅用少量的标记数据,就使半监督学习的预测精度逼近监督学习。Manifold mixup [8]通过对Hidden States进行插值,取得了优于Mixup的效果。
Manifold mixup代码链接https://github.com/vikasverma1077/manifold_mixupgithub.com
CutMix [9]可以说是图片混合类工作,也可以说是生成遮挡类工作。不同于遮挡类工作一般使用零像素"黑布"来遮挡图片,CutMix使用另一张图片的一个区域来覆盖遮挡区域。因此CutMix可以看成Cutout和Mixup的结合体,既使用了遮挡的思想,又使用了mixup的逐像素线性叠加,当然此处的线性矩阵只含有0,1两个元素。生成图片的标签,和mixup一样,也使用线性叠加的label。CutMix 在多个task和benchmark上也都展现了杰出的效果。CutMix 示意图
CutMix 代码链接https://github.com/clovaai/CutMix-PyTorchgithub.com
搜索类
这一块的工作目前还算比较多。推荐Quoc V. Le大神的两篇工作[10]和 [11].
这两篇工作比较类似,[10]主要用于分类任务,[11]则是用在目标检测中。AutoAugment数据增强policy
变换方法:[10]定义了16中图像变换操作,包括PIL库中提供的14个操作和Cutout和SamplePairing。[11]从 Color operations、 Geometric operations和 Bounding box operations三个角度定义了22中图像变换操作。
搜索空间:预测的data aug policy共包含K个sub-policy,每个sub-policy包含N个图像变换方法,每个方法有两个属性:概率P和幅度magnitude。其中P离散为M个值,magnitude离散为L个值。因此[10][11]搜索空间分别为
和
。
[10]和[11]均使用了常见的 RNN 控制器+RL的方法,proximal policy optimization (PPO) 算法。
AutoAugment代码链接tensorflow/modelsgithub.com
[11]代码链接https://github.com/tensorflow/tpu/tree/master/models/official/detectiongithub.com
除了对train data进行aug,还有很多通过学习generator来生成data达到aug的搜索工作。
除了本文总结的几类方法,还有一些GAN_based等方法,本人在实际应用中并未涉及到,暂时便不做归纳总结,以后若有需要再添加上,读者可自行参阅前面分享的综述文。
Reference
[1] Terrance Devries and Graham W. Taylor. "Improved regularization of convolutional neural networks with cutout." arXiv preprint arXiv:1708.04552(2017).
[2] Zhun Zhong, Liang Zheng, Guoliang Kang, Shaozi Li, and Yi Yang. "Random erasing data augmentation." arXiv preprint arXiv:1708.04896(2017).
[3] Krishna Kumar Singh, Hao Yu, Aron Sarmasi, Gautam Pradeep, and Yong Jae Lee. "Hide-and-seek: A data aumentation technique for weakly-supervised localization and beyond." arXiv preprint arXiv:1811.02545(2018).
[4] Pengguang Chen, Shu Liu, Hengshuang Zhao and Jiaya Jia. "GridMask Data Augmentation." arXiv preprint arXiv:2001.04086(2020).
[5] Hongyi Zhang, Moustapha Cisse, Yann N. Dauphin and David Lopez-Paz."mixup: Beyond empirical risk minimization." arXiv preprint arXiv:1710.09412(2017).
[6] Hiroshi Inoue. "Data Augmentation by Pairing Samples for Images Classification". arXiv preprint arXiv:1801.02929(2018).
[7] David Berthelot, Nicholas Carlini, Ian Goodfellow, Nicolas Papernot, Avital Oliver and Colin Raffel. "MixMatch: A Holistic Approach to Semi-Supervised Learning" arXiv preprint arXiv:1905.02249(2019).
[8] Vikas Verma, Alex Lamb, Christopher Beckham, Amir Najafi, Ioannis Mitliagkas, David Lopez-Paz and Yoshua Bengio. "Manifold Mixup: Better Representations by Interpolating Hidden States."arXiv preprint arXiv:1806.05236(2018).
[9] Sangdoo Yun, Dongyoon Han, Seong Joon Oh, Sanghyuk Chun, Junsuk Choe and Youngjoon Yoo. "CutMix: Regularization Strategy to Train Strong Classifier with Localizable Features." arXiv preprint arXiv:1905.04899(2019).
[10] Ekin D. Cubuk, Barret Zoph, Dandelion Mané, Vijay Vasudevan and Quoc V. Le. "AutoAugment: Learning Augmentation Policies from Data." arXiv preprint arXiv:1805.09501(2018).
[11] Barret Zoph, Ekin D. Cubuk, Golnaz Ghiasi, Tsung-Yi Lin, Jonathon Shlens and Quoc V. Le. "Learning Data Augmentation Strategies for Object Detection." arXiv preprint arXiv:1906.11172(2019).