Deep Feature Pyramid Reconfiguration for Object Detection 论文笔记

前言

用金字塔形式的多尺度表示来解决目标检测中的多尺度问题是一种常用的方法，SSD和FPN都是这种金字塔形式的特征表示。但SSD中的bottom-up通路仅能在深层中学到更强的语义特征，而浅层中的语义特征很难捕获，因此SSD在检测小目标时比较无力。FPN虽然通过横向连接使得每个层级的特征图都包含很强的语义特征，但它实际上等价于特征层级的线性结合，从而很难捕获高度非线性的信息，以至于不能很好的应对更加复杂的情况。

本文以一种高度非线性的方式，将特征金字塔的构造过程重塑为特征的重构过程。具体来说就是，本文在构造特征金字塔时，会采用全局注意（global attention） 以强调整个图像的全局信息，然后采用局部重构（local reconfiguration） 对感受野内的局部块进行建模。通过这种方式生成的特征金字塔表示能够将强烈的语义信息扩展到所有尺度。与SSD和FPN以及FPN的变体相比，本文的特征金字塔结构具有以下优点：

1. 全局-局部重构是一种非线性变换，具有更高的表达能力；
2. 金字塔中所有层级的生成是同时进行的，比逐层变换（比如横向连接）更有效。

---

方法实现

如上图所示是本文提出的特征金字塔构建网络，首先将多个不同的特征图进行结合，形成特征层级$X$，然后通过非线性变换生成不同尺度的特征图，最后在这些特征图上进行检测。

给定一系列特征图$X=[x_P,x_{P+1},...,$