(WACV2021)Effective Fusion Factor in FPN for Tiny Object Detection

最新推荐文章于 2023-05-06 22:57:52 发布

Maggieee1023

最新推荐文章于 2023-05-06 22:57:52 发布

阅读量433

点赞数 1

分类专栏：论文分享文章标签：目标检测人工智能计算机视觉

本文链接：https://blog.csdn.net/maggie_jk/article/details/128431900

版权

论文分享专栏收录该内容

4 篇文章 1 订阅

订阅专栏

引言

基于FPN的检测器，在MS COCO、PASCAL VOC数据集上表现良好，但是在微小目标检测上表现很差，例如：TinyPerson、Tiny CityPersons，自然会问，为什么现在的基于FPN的检测器不适合微小目标检测，怎么让它们适合呢？回答这个问题的动机来源于一个有趣的观察。

随着深层传入浅层的信息增多，检测器的精度先增大后减小。定义融合因子为特征融合时深层的权重系数。

进一步，我们通过分析FPN的工作原理来分析现象产生的原因。我们发现由于相邻层的融合操作，FPN实际上是多任务学习。更具体来说，如果去掉自顶向下的连接，每层只关注于尺寸与之相关程度高的目标，比如浅层学习小目标、深层学习大目标。但是，在FPN中，在来自其它层的损失的间接监督下，每层都要学习所有尺寸的目标。对于微小目标检测，有两个存在的因素需要考虑。第一个是数据集中绝大多数是小目标，第二个是数据集不大。因此，每层不仅要专注于该层对应尺寸的目标，还需要获得其它层的帮助，为了更多的训练样本。融合因子控制了这两件事的优先级，并从中找到平衡。传统的FPN中融合因子为1，不适合微小目标检测。

首先，我们研究了怎么显式地学习有效的融合因子，发现，对于特定的数据集，通过统计的方法可以得到有效的值，它取决于每层分布的目标数量。其次，我们从两方面深入分析了融合因子是否可以隐式地被学习。最后，我们从梯度反向传播的角度解释了设计融合因子的合理性。实验表明，融合因子加入FPN后，对于微小目标检测，性能得到显著提升。

融合因子

finneri表示1×1的卷积操作，flayeri表示3×3的卷积操作，α为融合因子

1.什么影响融合因子的有效性？

假设数据集的四个属性会影响融合因子：a.目标的绝对大小；b.目标的相对大小；c.数据集的数据量；d.FPN中每一层的目标分布。

不同的数据集有不同的趋势，例如在不同的融合因子下到达曲线峰值。

CityPersons,VOC,COCO对融合因子不敏感，而TinyPerson，Tiny CityPersons对融合因子敏感。

TinyPerson，Tiny CityPersons最常见的特点是目标的平均绝对大小不足20像素。因此，我们调整了CityPersons，COCO中图片的尺寸（CityPersons中图片缩小2倍和4倍，COCO中缩小4倍和8倍），可以看到，当目标的绝对大小变小，曲线的趋势和TinyPerson的相似。对于TinyPerson和Tiny CityPersons，数据的大小和目标的相对大小一样，但是曲线变化却不一样。

FPN中每一层的目标分布会决定训练样本是否充足，这将直接影响每一层的特征表示。CityPersons和TinyPerson和Tiny CityPersons分享着类似的FPN分层。大量的微小目标集中在P2、P3，这会导致在深层的微小目标不足。然而，CityPersons融合因子的表现趋势和TinyPerson和Tiny CityPersons不同。

因此，我们认为目标的绝对大小影响着融合因子的有效性。融合因子决定着深层多大程度的参与到浅层的学习，通过在梯度反向传播中重新更新权重损失。当数据集都是小目标时，每层的学习都是困难的。因此，每层的学习能力都是不足的，深层没有额外的能力去帮助浅层。换句话说，当每层的学习变难时，深浅层的供需关系发生变化，融合因子需要减小，这使得每层更加关注于自身的学习。