目标检测_多尺度任务_2020

目标检测框架：Detectron2/mmDetection/darknet/SimpleDet

 

AugFPN: Improving Multi-scale Feature Learning for Object Detection

论文：https://arxiv.org/pdf/1912.05384.pdf

代码：

FPN的缺点：

(1)特征融合前

在进行特征融合之前，不同层次的特征分别进行11卷积层来减少特征通道，其中不考虑这些特征之间存在较大的语义差距。直接融合这些特征会降低多尺度特征代表的能力。

(2)特征自顶向下融合，

在特征融合中，特征以自顶向下的方式进行传播，利用来自高层特征的较强语义信息对低层特征进行改进。然而，金字塔最高层次的特征反而因为通道减少而丢失了信息。结合全局池提取的全局上下文特征[29]可以减少信息损失。但是，这种将特征图融合为单个矢量的方法可能会因为一幅图像中可能出现多个目标而失去空间关系和细节。

(3)特征融合后

特征融合后，在从一个特征层汇集的特征网格基础上细化每个目标方案，并根据建议的尺度进行启发式选择。然而，被忽略的其他级别的特性可能有利于对象分类或回归。针对这一问题，PANet[24]将各金字塔层的RoIs特征集合在一起，采用独立的全连接层将其与最大操作融合。然而，最大融合会忽略同样有帮助的较小响应的特征，但仍然不能充分利用其他层次的特征。同时，额外的全连接层显著增加了模型参数。

解决方法：

（1）通过在特征图上施加相同的监督信号，使横向连接后的特征图包含相似的语义信息.

（2）利用比例不变自适应池化提取不同的上下文信息，以残差的方式减少特征金字塔中最高级特征的信息损失.

（3）引入软感兴趣区域选择，更好地利用不同金字塔层次的感兴趣区域特征，生成更好的感兴趣区域特征，用于后续的定位细化和分类

 

 

Scale-Equalizing Pyramid Convolution for Object Detection

论文：https://arxiv.org/pdf/2005.03101.pdf

代码：https://github.com/jshilong/SEPC

问题：

而特征融合的设计比较直观，是将特征图调整到相同分辨率后直接总结出来。特征金字塔的内在属性没有被探索，让所有的特征地图贡献平等而没有区别。在特征金字塔上相邻比例尺的特征图相关性最大，而以往的方法往往忽略了这一点。

解决方法：

3D卷积在不同层之间 

金字塔卷积（Pconv）

 

 

虚线：插值操作

实现：卷积操作

相同颜色：共享卷积操作（权重共享）