Effective Fusion Factor in FPN for Tiny Object Detection

Effective Fusion Factor in FPN for Tiny Object Detection

论文地址：https://arxiv.org/pdf/2011.02298.pdf

论文发表于 2021 WACV

摘要

基于FPN的detector在一般目标检测方面取得了重大进展，例如MSCOCO和PASCAL VOC。 然而，这些检测器在某些应用场景中失败，例如微小的对象检测。 在本文中，我们认为FPN中相邻层之间的自顶向下连接对微小物体检测带来了两面影响，而不仅仅是正面的。

我们提出了一种新的概念，融合因子，用于控制深层传递到浅层的信息，使FPN适应于微小物体的检测。

经过一系列的实验和分析，我们探索如何用统计方法估计特定数据集的融合因子的有效值。 估计取决于每个层中分布的对象的数量。 对微小物体检测数据集进行了全面的实验，例如Tiny persons、和Tiny CityPersons。 我们的结果表明，当用适当的融合因子配置FPN时，网络能够在微小对象检测数据集的基线上获得显著的性能增益。

总结

以后写论文引用：

结论：调整FPN相邻层的融合因子可以自适应地推动浅层集中学习微小物体，从而提高微小物体的检测能力。

结论：融合因子受到每个层可以检测目标数量的影响，

结论：同时融合因子可以通过隐式方法进行学习。

这篇论文提出了一个重要观点，特征融合会受到数据集目标尺度分布的影响，而大多数特征融合方式都忽略了这一因素

本文得出结论：小目标大多分布在FPN的P2，P3层。

introduction

在这一部分中，作者提出了融合因子的概念，并通过暴力搜索融合因子α的取值，在COCO，VOC，TinyPerson数据集上进行验证。

通过对比只有在小目标数据集TinyPerson,Tiny CityPersons中检测性能会有首先先增加然后再下降的一个过程，融合因子存在着一个最优值的取值范围。

同时也可以看出对于VOC和COCO这样的常规数据集，融合因子的取值变化对于mAP值没有多大的影响。

并得出结论，传统的FPN对应的融合因子α为1，不适合于微小物体的检测

2. Related Work

2.1介绍了关于object detection的一些数据集

比如COCO，VOC，行人数据集，人脸数据集，遥感数据集等等。。

2.2介绍了小目标检测

[1]Xuehui Yu, Yuqi Gong, Nan Jiang, Qixiang Ye, and Zhenjun Han. Scale match for tiny person detection. In WACV, pages1246–1254, 2020.

[2]Bharat Singh and Larry S Davis. An analysis of scale invariance in object detection - snip. CVPR, 2018.

[3] Bharat Singh, Mahyar Najibi, and Larry S Davis. Sniper:Efficient multi-scale training. NeurIPS, 2018.

[4]Chunfang Deng, Mengmeng Wang, Liang Liu, and Yong Liu. Extended feature pyramid network for small object detection. CVPR, 2020.

[5]Junhyug Noh, Wonho Bae, Wonhee Lee, Jinhwan Seo, and Gunhee Kim. Better to follow, follow to be better: Towards precise supervision of feature super-resolution for small object detection. ICCV, pages 9725–9734, 2019.

[6]Yukang Chen, Peizhen Zhang, Zeming Li, Yanwei Li, Xiangyu Zhang, Gaofeng Meng, Shiming Xiang, Jian Sun, and Jiaya Jia. Stitcher: Feedback-driven data provider for object detection. CVPR, 2020

[7]Yanghao Li, Yuntao Chen, Naiyan Wang, and Zhaoxiang Zhang. Scale-aware trident networks for object detection. CVPR, 2019.

同时还提出有学者将超分辨被引入小目标检测中来

上述这些方法在一定程度上提高了小目标检测的性能。

2.3介绍了目标检测中的特征融合

比如FPN，PANet，Libra-RCNN，NAS-FPN等等，这都是比较经典也比较成功的用于目标检测的特征融合手段

[1]Tsung-Yi Lin, Piotr Dollar, Ross Girshick, Kaiming He,Bharath Hariharan, and Serge Belongie. Feature pyramid networks for object detection. In CVPR, July 2017.

[2]Shu Liu, Lu Qi, Haifang Qin, Jianping Shi, and Jiaya Jia.Path aggregation network for instance segmentation. CVPR,pages 8759–8768, 2018.

[3]Tao Kong, Fuchun Sun, Wenbing Huang, and Huaping Liu.Deep feature pyramid reconfiguration for object detection. In ECCV, pages 172–188, 2018

[4] Jiale Cao, Yanwei Pang, Shengjie Zhao, and Xuelong Li.High-level semantic networks for multi-scale object detection. TCSVT, pages 1–1, 2019

[5]Jing Nie, Rao Muhammad Anwer, Hisham Cholakkal, Fahad Shahbaz Khan, Yanwei Pang, and Ling Shao. Enriched feature guided refinement network for object detection. ICCV, pages 9537–9546, 2019.

[6]Ke Sun, Bin Xiao, Dong Liu, and Jingdong Wang. Deep high-resolution representation learning for human pose estimation. CVPR, 2019.

[7]Jiangmiao Pang, Kai Chen, Jianping Shi, Huajun Feng,Wanli Ouyang, and Dahua Lin. Libra r-cnn: Towards balanced learning for object detection. CVPR, 2019.

[8]Songtao Liu, Di Huang, and Yunhong Wang. Learning spatial fusion for single-shot object detection. 2019

[9]Xinjiang Wang, Shilong Zhang, Zhuoran Yu, Litong Feng,and Wayne Zhang. Scale-equalizing pyramid convolutionfor object detection. CVPR, 2020.

[10] Golnaz Ghiasi, Tsungyi Lin, and Quoc V Le. Nas-fpn:Learning scalable feature pyramid architecture for object detection. CVPR, pages 7036–7045, 2019.

[11]Mingxing Tan, Ruoming Pang, and Quoc V Le. Efficientdet: Scalable and efficient object detection. CVPR, 2019.

得出结论：它们都忽略了特征融合会受到数据集尺度分布的影响

因为作者实验：CityPersons对融合因素的表现趋势与TinyPerson和Tiny CityPersons的表现趋势不同

3.Effective fusion factor

定义了融合因子α，并对融合因子进行分析

首先得出的结论就是，小目标大多分布在FPN的P2，P3层。

为了探索如何获得有效的α，首先研究什么可以影响融合因子的有效性。
我们假设数据集的四个属性影响α：

• 物体的绝对大小；
• 物体的相对大小；
• 数据集的数据量；
• 对象在FPN中各层的分布。

作者对Tiny CityPersons数据集进行上采样之后再控制融合因子α得出图像：

说明融合因子对小目标有效，小目标放大后融合因子的变化基本上没有作用，因此，得出结论，物体的绝对大小而不是其他三个因素正好影响融合因子的有效性。

其实我自己认为目标在FPN各层的分布也影响着融合因子

然后作者对融合因子的学习提出了实验：

1.蛮力解决方案，根据图枚举α；
2. 一种可学习的方式，其中α被设置为一个可学习的参数，由损失函数优化；
3. 一种基于注意的方法，其中α由自注意模块生成；
4. 一种基于统计的解决方案，它利用数据集的统计信息来计算α；

通过对比试验，，基于统计的融合因子α最具有代表性，性能也最佳。

3.3介绍了融合因子α还可以通过隐式学习

3.4对融合因子α提出了数学解释

4.Experiment

在TinyPerson数据集和上做了实验，证明了融合因子的有效性。

作者的结论是，调整FPN相邻层的融合因子可以自适应地推动浅层集中学习微小物体，从而提高微小物体的检测能力。 此外，广泛的实验通过配置不同的实验条件，包括不同的检测器、不同的骨干和不同的数据集，证明了该方法的有效性。

本篇文章于2020年11月放到arxiv上，中的2021年的WACV。

总结来说比较新，这个基于统计的融合因子提升小目标检测性能的trick可以用在自己的毕业设计上。