B: Augmentation for small object detection

level

B: 有用吗，几乎没用，不过实验做的很详细

简介

对coco里面的小目标分布做了详尽的分析，以及为什么fastercnn 系列 small AP很低 给了猜想，然后实验了直接oversample 和 copy-paste 对 small AP的影响，总体small AP是可以涨一个百分点，AP几乎没变化

有用的点

为什么coco的small精度低

First, we observe that there are relatively fewer images that contain small objects in the dataset, which potentially biases any detection model to focus more on medium and large objects. Second, the area covered by small objects is much smaller, implying the lack of diversity in the locations of small objects.

small object 太少了，导致 matched anchors 数量有点少，同时因为面积小，导致对应的anchor的iou偏小，也就是质量比较差

一些困惑

这里面oversample 是直接把原始dataset里面的含small object那50%的图像直接复制吗; aug具体怎么操作的，难道是所有图片随机挑选小目标然后复制? 看起来精度低懒得去追究细节了，要是有知道的道友请在下面评论

一般应对small object方式

1. 增大输入的尺寸
2. 对low-level 但是 high-resolution 的feature 做个结合，像PANet FPN
3. 调整一下anchor
4. 使用GAN，这个看不懂，但 给了refer: Eggert, C., Zecha, D., Brehm, S., Lienhart, R.: Improving small object proposals for company logo detection. In: Proceedings of the 2017 ACM on International Conference on Multimedia Retrieval.

一些有趣结论

• 不需要边界模糊之类的，直接paste最好
• 如果在val里面也paste的话，发现网络非常容易检测出来这类人工paste
• 不要paste太多，一则会导致真正的小目标减少，二则会导致train test 不匹配