【文献阅读8】Augmentation for small object detection-小目标检测数据扩增

本文仅作简单翻译阅读学习

---

文章名称：Augmentation for small object detection
文章地址：https://arxiv.org/pdf/1902.07296.pdf
文章作者：Mate Kisantal、Zbigniew Wojna et al.
发表时间：19 Feb 2019

总结笔记：

---

摘要

项目	内容
问题	小的物体真值框和预测锚框之间的重叠比预期的IoU阈值低得多。
因素	(1)只有少数图像包含小对象；(2)即使在包含它们的每个图像中，小对象也没有出现足够多。
方案	用小对象对这些图像进行过采样，并通过多次复制粘贴小对象来增强这些图像中的每一幅。它允许我们在大物体和小物体上权衡探测器的质量。
结果	不同的粘贴增强策略进行了评估，最终，在实例分割上实现了 9.7% 的相对改进，在小对象的对象检测上实现了 7.1% 的相对改进。

1 引言

目标检测已经取得了大幅进步，但现有解决方案对小目标的性能都较差。
在微软COCO实例分割挑战的前排的提交方案中中，小对象的应用程序检测精度比大对象的低2-3倍。

COCO数据集中，对于大、中、小目标的定义，如下所示：

小目标检测在许多下游任务中至关重要。

• 从汽车的高分辨率场景照片中检测小的或远处的物体对于安全部署自动驾驶汽车是必要的。许多物体，如交通标志或行人，在高分辨率图像上通常几乎看不见。
• 在医学成像中，早期发现肿块和肿瘤对于做出准确的早期诊断至关重要，因为这些元素很容易只有几个像素大小。
• 通过定位材料表面可见的小缺陷，自动工业检测也可以受益于小物体检测。
• 卫星图像分析，其中物体，如汽车、船只和房屋，必须得到有效的注释。

COCO数据集关于小对象的两个属性：

• 第一，数据集中包含小对象的图像相对较少，这可能会使任何检测模型偏向于更多地关注中型和大型对象。
• 第二，小物体覆盖的区域要小得多，这意味着小物体的位置缺乏多样性。这可能使得目标检测模型很难在测试时间内推广到小目标，因为它们出现在图像中探索较少的部分。

针对COCO数据集小目标俩属性问题提出两个解决方案：

• 通过对包含小物体的图像进行过采样来解决第一个问题。
• 第二个问题通过在包含小对象的每个图像中多次复制粘贴小对象来解决。粘贴每个对象时，确保粘贴的对象不会与任何现有对象重叠。这增加了小对象位置的多样性，同时确保这些对象出现在正确的上下文中。
  

2 相关工作

目标检测
R-CNN及其变体旨在帮助实现各种对象比例，因为差异裁剪将所有建议区域合并到一个分辨率中。然而，这种情况发生在深度卷积网络中，产生的裁剪框可能无法与对象完美对齐，这可能会损害其实际性能。
SSD最近被扩展到反卷积单次触发检测器(DSSD)，该检测器通过解码器部分中的转置卷积对SSD的低分辨率特征进行上采样，以提高内部空间分辨率。类似地，特征金字塔网络(FPN)用解码器类型的子网络扩展了更快的R-CNN。

小目标
检测小物体可以通过提高输入图像分辨率或通过将高分辨率特征与低分辨率图像的高维特征融合来解决。然而，这种使用更高分辨率的方法增加了计算开销，并且不能解决大小对象之间的不平衡。
文章Perceptual generative adversarial networks for small object detection中取而代之的是，使用生成对抗网络(GAN)在卷积网络中构建特征，在交通标志和行人检测的背景下，这些特征在大小物体之间是无法区分的。
文章Improving small object proposalsfor company logo detection基于区域提议网络中的不同分辨率层使用不同的锚框比例。

3 识别检测小物体的问题

3.1 MS COCO

MS COCO 2017检测数据集包含118287幅用于训练的图像、5000幅用于验证的图像和40670幅测试图像。来自80个类别的860001和36781个对象用地面真实边界框和实例遮罩进行注释。

3.2 Mask R-CNN

在实验中，作者使用了¹中带有ResNet-50主干的Mask R-CNN实现，并采用了²中提出的线性缩放规则来设置学习超参数。

3.3 利用Mask R-CNN在MS COCO数据集上的小目标检测

4 过采样和增强

过采样
通过在训练期间对图像进行过采样来解决包含小物体的图像相对较少的问题。在实验中，我们改变过采样率，不仅研究过采样率对小目标检测的影响，还研究了对检测中、大目标的影响。

增强

在过采样的基础上，引入了针对小对象的数据集增强。MS COCO数据集中提供的实例分割掩码允许我们从原始位置复制任何对象。然后将副本粘贴到不同的位置。通过增加每个图像中的小对象的数量，匹配的锚的数量增加。这反过来又提高了训练期间小物体对计算RPN损失函数的贡献。

在将对象粘贴到新位置之前，对其应用随机变换。通过将对象大小改变20%并旋转15度来缩放对象。只考虑未遮挡的对象，因为粘贴不相交的分割遮罩，中间有看不见的部分，通常会导致图像不太真实。确保新粘贴的对象不与任何现有对象重叠，并且距离图像边界至少五个像素。
在图4中，用图形说明了提出的增强策略，以及它如何在训练过程中增加匹配锚的数量，从而更好地检测小物体。

5 实验设置

5.1 过采样

在第一组实验中，我们研究了对包含小物体的图像进行过采样的效果。我们在2、3和4之间改变过采样率。为了提高效率，作者不使用实际的随机过采样，而是离线创建多个带有小对象的图像副本。

5.2 增强

在第二组实验中，研究了使用增强对小对象检测和分割的影响。复制并粘贴每个图像中的所有小对象一次。我们还对带有小物体的图像进行过采样，以研究过采样和增强策略之间的相互作用。我们测试三种设置。在第一个设置中，用复制粘贴的小对象替换每个带有小对象的图像。在第二种情况下，我们复制这些增强图像来模拟过采样。在最终设置中，我们保留原始图像和增强图像，这相当于用小对象对图像进行两倍的过采样，同时用更多的小对象来增强副本。

5.3复制粘贴策略

复制粘贴小对象的方式有很多种。考虑三种不同的策略。首先，在图像中选取一个小对象，并在随机位置复制粘贴多次。其次，选择许多小对象，并在任意位置复制粘贴每一个对象一次。最后，将每个图像中的所有小对象在随机位置复制粘贴多次。在所有的情况下，我们使用上面的第三个增强设置；也就是说，我们既保留原始图像，也保留它的增强副本。

5.4粘贴算法

粘贴小对象的副本时，有两件事需要考虑。首先，必须决定粘贴的对象是否会与任何其他对象重叠。虽然选择不引入任何重叠，但通过实验验证了这是否是一个好策略。其次，是否执行附加程序来平滑粘贴对象的边缘是一种设计选择。与没有进一步处理相比，我们实验了不同滤波器大小的高斯模糊边界是否有帮助。

6 结果和分析

6.1过采样

通过在训练期间更频繁地采样小对象图像(见表3)，可以提高小对象分割和检测上的应用程序。观察到的最大增益是3倍过采样，这将小对象的AP提高了1%(对应于8.85%的相对改善)。虽然中等对象规模的性能受影响较小，但大对象检测和分割性能始终受到过采样的影响，这意味着必须根据大小对象之间的相对重要性来选择比率。

6.2扩增

在表4中，我们给出了使用建议的增强和过采样策略的不同组合的结果。当我们用包含更多小对象的副本(第二行)用小对象替换每个图像时，性能会显著下降。当我们以两倍的倍数对这些增强图像进行过采样时，对小对象的分割和检测性能又恢复了损失，尽管总体性能仍然比基线差。
然而，当我们在一个增强的验证集上评估这个模型，而不是原始的模型时，我们看到小对象增强性能增加了38%(0.161)，表明训练后的模型过拟合到“粘贴”的小对象，但不一定对原始的小对象过拟合。作者认为这是由于粘贴造成的伪像，如不完美的对象遮罩和背景亮度差异，这些对神经网络来说相对容易发现。最好的结果是通过结合过采样和以p = 0.5(原始+aug)的概率进行增强来实现的，原始与增强的小对象之比为2:1。这种设置产生了比单独过采样更好的结果，证实了所提出的粘贴小对象策略的有效性。

6.3复制粘贴策略

单个对象的复制粘贴
在表5中，可以看到复制粘贴单个对象会在小对象上产生更好的模型，但是，代价是大图像上的性能略有下降。然而，性能顶点在1或2次粘贴。多次添加同一个对象不会产生任何性能改进。

复制粘贴多个对象
从表6中可以看出，每个图像复制粘贴多个小对象比只复制粘贴一个对象要好。在这种情况下，可以看到每个对象最多粘贴三次的好处。

复制粘贴所有小对象
后，表7列出了复制粘贴每个图像中所有小对象的结果。发现在对所有对象进行一次扩充时，分割和检测的结果都是最好的。作者怀疑这背后有两个可能的原因。首先，通过拥有所有小对象的多个副本，原始对象与粘贴的小对象的比率迅速降低。第二，每个图像中的对象数量成倍增加，这导致训练图像和测试图像之间更加相当大的不匹配。

6.4 粘贴算法

如表8所示，随机粘贴到图像中，而不考虑其他对象已经占据的区域，会导致小图像的性能较差。

它证明作者的设计选择是正确的，以避免粘贴的对象和现有对象之间的任何重叠。此外，粘贴对象边缘的高斯模糊没有显示出任何改善，这表明粘贴对象最好保持原样，除非采用更复杂的融合策略。

7 结论

文章研究表明，小对象平均精度差背后的一个因素是训练数据中缺少小对象的表示。对于现有的最先进的目标检测器来说尤其如此，该检测器需要存在足够的目标，以便在训练期间预测锚能够匹配。为了克服这个问题，作者提出了两个策略来扩充原始的MS COCO数据库。首先，表明在训练过程中，通过对包含小对象的图像进行过采样，可以很容易地提高小对象的性能。其次，提出了一种基于复制粘贴小对象的增强算法。

---

1. Girshick, R., Radosavovic, I., Gkioxari, G., Doll´ ar, P., He, K.: Detectron. https://github.com/facebookresearch/detectron (2018) ↩︎

2. Goyal, P., Doll´ ar, P., Girshick, R.B., Noordhuis, P., Wesolowski, L., Kyrola, A,Tulloch, A., Jia, Y., He, K.: Accurate, large minibatch sgd: Training imagenet in 1 hour CoRR abs/1706.02677 (2017) ↩︎