AFPN: Asymptotic Feature Pyramid Network for Object Detection
解决的问题
特征金字塔架构的提出是为了解决尺度变化的问题,图像中物体真正有用的特征在顶部最高层需要通过多个中间尺度传播,并与这些尺度的特征交互,才能与底部的低层特征融合,便是最常见的是物体特征在缩放时丢失的细节信息,以经典的FPN网络为例,存在高层特征里面低层特征细节不足的问题。
而在不同尺度的特征交互,可以避免传输中的信息丢失或退化,但是在特征融合中,逐元素求和不是一种有效的方法,因为不同级别之间在某个位置可能存在不同对象的矛盾。
AFPN的引入在多融合过程中利用自适应空间融合操作来过滤特征,保留有用的信息进行融合。
设计原理
设计过程仅采用普通的卷积组件,没有加入self-attention等机制
渐进式架构设计原理
AFPN 在初始阶段融合了两个低级特征。 后续阶段融合了高级特征,而最终阶段则将顶级特征添加到特征融合过程。 黑箭头表示卷积,青绿色箭头表示自适应空间融合。
其中导致了非相邻层次特征直接融合效果差原因:非相邻层次特征之间的语义差距大于相邻层次特征之间的语义差距,尤其是对于底部和顶部的特征。
必须对齐维度为特征融合做准备,利用 1×1卷积和双线性插值方法对特征进行上采样;使用不同的卷积核和步长进行下采样,具体取决于所需的下采样率。
自适应空间融合
根据多级特征融合过程中为不同级别的特征分配不同的空间权重,增强关键级别的重要性并减轻来自不同对象的矛盾信息的影响
论文贡献
(1)引入了渐进式特征金字塔网络 (AFPN),它促进了跨非相邻级别的直接特征融合,从而防止了特征信息在传输和交互过程中的丢失或退化。
(2)为了抑制不同级别特征之间信息的矛盾,我们将自适应空间融合操作融入多级特征融合过程。
(3)在 MS COCO 2017 验证集和测试集上的大量实验表明,与其他特征金字塔网络相比,我们的方法在取得更具竞争力的结果的同时,表现出优异的计算效率。