【DA】《Augmentation for small object detection》

在这里插入图片描述

arXiv-2019



1 Background and Motivation

基于深度学习的目标检测效果在MS COCO数据集上越来越好,但是小目标检出率还是无法媲美中目标或者大目标

在这里插入图片描述

在这里插入图片描述

原因

  • only a few images are containing small objects(含有小目标的图片占比比较小)
  • small objects do not appear enough even within each image containing them(每张图片的小目标数量也比较少——lack of diversity in the locations of small objects)

小目标比较少, both across images and across pixels

作者采用 oversampling 和 copy-pasting(not overlap with any existing object)方法来提升 MS COCO 数据集上小目标的检出率

在这里插入图片描述

2 Related Work

  • Object Detection
  • Instance Segmentation
  • Small objects
    • increasing the input image resolution
    • fusing high-resolution features

3 Advantages / Contributions

用 oversampling 和 copy-paste 方法来提升目标检测任务中小目标的检出率

4 Method

Small object detection by Mask R-CNN on MS COCO

在这里插入图片描述

在这里插入图片描述

统计的还算细致,average matching anchors 比较少,average max IoU 也比较小

large object spanning multiple sliding-window locations often has a high IoU with many anchor boxes

小目标面积比较小,负责预测的 grid anchor 也会少很多(只能说高质量的负样本会变少,因为每个GT只有一个 anchor 负责预测——以前的正负样本匹配策略,小目标比较小,周边 grid 的 anchor 可能覆盖不到目标,同为负样本,但质量应该没有大目标的高)

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

4.1 Oversampling

over-sample images containing small objects

4.2 Augmentation

(1)copy mask

(2)random transformations——object size ±20% and rotate it ±15°

(3)paste

4.3 Copy-Pasting Strategies

在这里插入图片描述

5 Experiments

5.1 Datasets and Metrics

MS COCO 2017

  • 118,287 images for training, 5,000 images for validation and 40,670 test images.

  • 860,001 and 36,781 objects from 80 categories are annotated with ground-truth bounding boxes and instance masks

在这里插入图片描述

5.2 Oversampling

在这里插入图片描述

可以看出,小目标提升了,大目标的效果会响应的降低

5.3 Augmentation

在这里插入图片描述

aug 应该是 copy-aug-paste 替换了原图

aug + oversample 是 aug 的基础上过采样,应该也不涉及到原图

original + aug 应该是 aug + 原图相当于 2x 小目标图片,训练数据集变多了,对于 baseline 有一点点不公平

同样也可以观察到,小目标提升了,大目标的效果会响应的降低

5.4 Copy-Pasting strategies

(1)Copy-pasting of a single object
在这里插入图片描述

单个小目标被 copy-paste 很多次

(2)Copy-pasting of multiple objects

在这里插入图片描述

许多小目标,每个小目标仅可能被 copy-paste 一次

choose numerous small objects and copy-paste each of these exactly once in an arbitrary position

(3)Copy-pasting of all small objects

在这里插入图片描述

copy-paste all small objects in each image multiple times in random places

感觉和 multi 的区别是 all,效果没有 multi 好

5.4 Pasting Algorithms

在这里插入图片描述

paste 的时候,不 overlap,边缘也不做 gaussion blur 效果最好

6 Conclusion(own) / Future work

  • MS COCO 数据集检测和分割的 leaderboard

    • https://cocodataset.org/#detection-leaderboard
  • 提升点有限,吹的是相对提升很唬人,而且小目标提升后,大目标效果下降比较明显,整体 AP 的提升基本没有

  • 方法没有任何创新点,文章描述不够简洁

  • 数据集的分析可以参考参考

  • 10
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值