数据增强-GridMask Data Augmentation

代码链接：https://github.com/akuxcw/GridMask

摘要：

本文提出了一种新的数据增强方法GridMask。它利用信息去除在各种计算机视觉任务中实现了最先进的结果。我们分析了信息投放的需求。在此基础上，分析了现有信息删除算法的局限性，提出了一种简单有效的结构化方法。它是基于对输入图像区域的删除。我们的大量实验表明，我们的方法优于最新的AutoAugment,，由于该方法使用强化学习来寻找最佳策略，消耗的计算量更大。在用于识别的ImageNet数据集、COCO2017目标检测和用于语义分割的Cityscapes数据集上，我们的方法都显著提高了baseline的性能。大量的实验证明了该方法的有效性和通用性。

正文：

一、引言：
现存的数据增广方式主要分为以下三种：
1.空间变换，random scale, crop, flip,rotation
2.颜色扭曲，改变透明度，亮度等
3.信息删除，random erasing, cutour, hide-and-seek
本文提出的GridMask方法属于信息删除的方法，这种方法的实现方式是随机在图像上丢弃一块区域，作用相当于是在网络上增加一个正则项，避免网络过拟合，相比较改变网络结构来说，这种方法只需要在数据输入的时候进行增广，简单便捷。

二、动机：
信息删除方法的核心要求是避免连续区域的过度删除和保留。有趣的是，我们发现一个成功的信息删除方法应该在删除和保留图像上的区域信息之间达到合理的平衡。原因有两方面：
1.过度删除一个或几个区域可能会导致完全删除对象和上下文信息。因此，剩下的信息不足以进行分类，图像更像是有噪声的数据。
2.过多的保留区域会使一些对象无法触及。它们是可能导致网络鲁棒性降低的琐碎图像。

因此，设计一种减少引起这两个问题的机会的简单方法变得至关重要。作者还分析了之前方法的不足：

如上图所示，将过度保留和删除一个目标都定义为失败的例子，cutout和random erasing只删除图像的一个连续区域，造成目标保留和删除之间的不平衡是显而易见的，因为被删除的区域是一个区域。HaS的方法是将图片平均分成小方块，然后随机删除。它更有效，但是仍然有相当大的机会持续删除或保留区域。现有方法中一些不成功的例子如图1所示。

因此作者发现：与之前的方法相反，使用结构化的删除区域，如删除均匀分布的正方形区域，可以在统计上更好地平衡这两种情况。具体为：我们的gridmask既不会像Cutout那样移除一个连续的大区域，也不会像hide-and - seek那样随机选择方块。删除区域只是一组空间均匀分布的平方。在这种结构中，通过控制被删除区域的密度和大小，我们在统计上有更高的机会在两种情况下取得良好的平衡，如图5所示。因此，我们在极低的计算预算下，使用我们非常简单的gridmask，大大改进了许多最先进的CNN基线模型。

三、GridMask：

论文提出了一种结构化的信息删除方法，可以有效的在对目标保留和删除之间取得平衡。控制被删除区域的密度和大小主要靠上面r, d, x, y四个参数控制，其中r是保留区域比率，在论文中是一个固定值。d决定了删除区域的大小，在论文中是一个区间的random值。x, y是删除区域的边长，在论文中是random（0，d-1）的一个值。

论文还统计了各种方法下的失败样本（过度保留目标或者过度删除目标，设定阈值为0.99）的概率：

使用GridMask的策略主要有两种，作者通过实验发现，第二种更有效：
1.设置一个恒定的概率p，这样我们就有机会对每个输入图像应用gridmask
2.使gridmask的概率随训练时间线性增加，直到达到一个上界P。

实验结果：

1.ResNet50/101/152在ImageNet数据集上效果：

2.CIFA10数据集上的效果：