深度学习笔记 Augmentation for small object detection（翻译）

一. abstract
二. Introduction
三. Related Work
三. Identifying issues with detecting small objects
四. Identifying issues with detecting small objects
五. Experimental Setup
六. Result and Analysis
六. Conclusion
References

一. abstract
　　这些年来，目标检测取得了令人瞩目的成就。尽管改进很大，但对于小目标和大目标的检测性能差异还是蛮大的。我们在 MS COCO 数据集上分析了如今一个比较先进的算法，Mask-RCNN。我们发现小目标的 GT 和检测框之间 IOU 远小于期望的阈值（比如0.5）。我们推测这是由于两个因素: 1) 包含小目标的图片的数量忒少, 2) 即使每张图片里都有小目标，这些小目标在整图中占比也太少了。因此我们建议对这些包含小目标的图像进行 oversample，并通过多次复制粘贴小目标的方式来 augment 包含小目标的每张图片。通过这种方式我们可以增强小目标的检测性能。我们实验了不同的 pasting augumentation 策略，最终，我们在实例分割任务上获得了 9.7% 的提升，在检测任务中获得了 7.1% 的性能提升。

二. Introduction
　　目标检测是当今计算机视觉研究的基本任务之一，因为它往往是许多现实应用的起点，包括机器人和自动驾驶、卫星和航空图像分析，以及医学图像中器官和物体的定位。这一重要的目标检测问题近年来取得了很大的进展。MS COCO 目标检测大赛的第一名解决方案从2015年的 mAP=0.373 提升到了2017年的 mAP=0.525(at IoU=.50:.05:.95 which is a primary challenge metric)。在MS COCO实例分割挑战下的实例分割问题中也可以看到类似的进展。尽管有这些改进，现有的解决方案在处理小目标时往往表现不佳。按照 Table 1 界定了目标大小划分规则，Figure 1 列举了几个牛逼的实例分割算法的结果，可以明显看出各种模型在小目标和大目标的检测性能上的显著差距。具体的，让我们通过 Figure 2 来瞅瞅 Mask-RCNN 的检测结果,小目标基本上是检测不到滴。

小目标检测是许多下游任务的关键。在自动驾驶领域，从汽车的高分辨率场景照片中检测小的或者远的物体是必要的。例如交通灯、行人通常在高分辨率图像中经过缩放后就瞅不见了。对于医疗图像，早期检测到肿块和肿瘤是准确诊断的关键，而在早期诊断时，这样的元素很容易只有几个像素。工业自动检测同样需要小目标检测来定位材料表面可见的小缺陷。对于卫星图像分析，图像中的目标例如车、船、马等都需要详细的标注。这些图像的分辨率范围为 0.5−5m，然而对应的目标则可能只有几十甚至几个像素。换句话说，随着更复杂的系统在现实世界中部署，小目标检测和分割需要更多的关注。

这里，我们的实验室基于 MS COCO 数据集和 Mask R-CNN[1] 展开的。关于数据集，我们注意到它有两个特点：首先，该数据集中包含小目标的图像相对较少，那么可能会导致训练出来的模型更关注于中、大目标的检测。其次，小目标覆盖的面积很小，这意味着小目标出现的位置缺乏多样性。我们目测，当模型较少的探索这些区域时，会使得检测模型很难推广到小目标。

对于第一个问题，我们通过对包含小目标的图像进行 oversampling 来解决。而对于第二个问题，我们通过在每个包含小目标的图像中多次复制粘贴小目标来处理。复制目标时࿰