论文阅读【检测】：ICCV2019 | Enriched Feature Guided Refinement Network for Object Detection

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

论文地址:Enriched Feature Guided Refinement Network for Object Detection

提出了一种单级检测框架，共同解决了多尺度目标检测和类不平衡问题。引入了一种简单而有效的特征丰富方案来产生多尺度的上下文特征，而不是设计更深层次的网络。为了增强单级检测器对多尺度检测的区分能力，进一步提出了一种级联求精方案，该方案首先在单级检测器的预测层中引入多尺度上下文特征。其次，级联精化方案通过精化锚点和丰富特征来改善分类和回归，解决了类不平衡问题。

一、Introduction

在这项工作中，区分了标准SSD检测器实现最高精度同时保持其高速度的两个主要障碍。 首先，标准的SSD难以应对大尺度变化。 这可能是由于SSD预测层中的上下文信息固定所致。 现有方法通过例如在更深的骨干网络模型上添加上下文信息和特征金字塔表示来解决该问题。 大多数方法采用自顶向下的金字塔表示，其中先对深层的低分辨率特征图进行上采样，然后与浅层的高分辨率特征图结合以注入高级语义信息。 尽管这样的特征金字塔表示有助于解决大尺度变化的问题，但性能仍然远远不能令人满意。
第二个关键问题是在训练SSD检测器期间遇到的前景类-背景类不平衡问题。 该问题的现有解决方案包括，例如，在稀疏的难例集上进行训练，同时对经过良好分类的示例对其损失进行打折（down-weights），另外还有整合两阶段anchor优化策略，以通过消除负例的anchors来减少分类器的搜索空间。 尽管取得了成功，但由于这些特征与优化的anchors无法很好地对齐。在这项工作中，我们寻求一种替代方法来共同解决多尺度目标检测和类不平衡的问题，从而在不牺牲其高速度的情况下提高SSD的准确性。

Contributions:
文中重新审视了标准的SSD框架，以共同解决多尺度目标检测和类不平衡的问题。 首先，我们引入一种特征增强的方案，以提高标准SSD中预测层的判别能力。 无需使骨干网络模型更深，而是设计了我们的特征增强方案来生成多尺度上下文特征。 我们进一步引入了具有双重对象的级联优化方案。 首先，它将自下而上的金字塔特征层次结构中的多尺度上下文特征注入到标准SSD预测层中。 所得的增强的特征对于尺度变化更鲁棒。 其次，它通过利用增强的特征来执行类不可知的分类和边界框（bounding-box）回归以精确定位，从而解决了类不平衡问题。 然后，进一步利用初始框回归和二元分类来优化相关的增强的特征，​​以获得最终分类分数和边界框回归。

二、Method

图一：（a）使用VGG主干的单阶段检测方法的总体架构。它由三部分组成：标准SSD层，特征增强方案和级联优化方案。特征增强方案设计为使用（b）中所示的MSCF模块提取多尺度上下文特征。然后，将这些上下文特征注入到SSD预测层（conv4 3）中，并使用自下而上的特征层次结构在级联优化方案的对象性模块中进一步传播。对象性模块还执行类未知的分类（C1x）和初始回归（B1x）。此外，类未知的分类提供了稍后在我们的级联优化方案的（c）中所示的FGRM模块中使用的对象性图 。 FGRM模块生成用于预测最终分类（C2x）和边界框回归（B2x）的最终优化的特征。

特征丰富方案

提出的MSCF模块在图1（b）中以蓝色虚线框突出显示。它是一个简单的模块，包含多个卷积运算，并产生多尺度的上下文特征。 MSCF模块的结构受到多分支ResNeXT体系结构的启发，是拆分，转换和聚合策略的一种操作。MSCF模块将下采样后的图像作为输入，并输出上下文增强的多尺度特征。下采样的图像首先通过大小为3×3和1×1的两个连续卷积层，从而产生初始特征投影。然后，将这些特征投影通过1×1卷积层切成三个低维分支。为了捕获多尺度上下文信息，对不同的分支采用三个膨胀卷积，膨胀率分别设置为1、2和4。膨胀卷积的运算将初始特征投影转换为上下文增强的特征集。然后，这些变换后的特征通过级联运算进行聚合，然后传递给1×1卷积进行运算。

标准SSD（第二列），多尺度上下文特征（第三列）和增强的特征（第四列）的相应fc7层特征图。 这些示例表明，通过将多尺度上下文特征注入到标准SSD特征中而获得的增强的特征有助于更好地从背景中区分对象区域。

级联优（细）化方案

物体性模块（OM）：物体性模块首先通过逐元素乘法运算在conv4_3的MCSF模块中注入多尺度上下文信息，从而增强了SSD的特征。 然后，我们引入了一个自下而上的金字塔特征层次结构，以将增强的特征传播到后续的SSD预测层，如图1（a）所示。 物体性模块使用步长为2（D）的3×3卷积运算，并投影前一层的特征以与当前层的空间分辨率和通道数匹配。 然后，通过在每个预测层上的投影特征和SSD特征之间执行逐元素乘法来获得增强的特征。 最后，增强的特征用于在每个预测层x上执行二元分类（C1x）和初始框回归（B1x）。 x = 1,2、3和4对应于四个预测层。

特征导向的优化模块（FGRM）
物体性模块中的二元分类器（C1x）输出将每个anchor预测为对象/背景，用于生成突出显示可能的对象位置的物体性图O1x。我们在给定空间位置的所有anchors的目标类别预测上沿着通道轴执行最大池化操作，然后进行Sigmod激活。结果，产生了空间物体性图O1x，该空间物体性图用于改善从物体性模块获得的增强特征Fin：

⊙是逐元素乘法，Fm是经过改进后的增强特征。
内核偏移提取：物体性和FGRM模块的框回归预测了四个输出：△x，△y，△h和△w。前两个（△x，△y）对应于空间偏移，后两个（△w，△h）对应于空间尺寸的比例偏移。在这里，我们使用来自物体性模块的空间偏移量（x，y），通过将内核偏移量pk估算为下图所示，来指导FGRM中的特征优化：

其中，f1×1表示卷积层，其内核大小为1×1，而B1x △x，△y表示由对象性模块预测的空间偏移量（△x，△y）。最后，内核偏移量用作可变形卷积的输入[11]，以引导特征采样并与精化的anchors对齐。

总结

看上去貌似有点用，不知道为啥没有和yolo的结果对比。总体感觉有点two-stage的意思。MSCF模块这个地方我比较感兴趣，多尺度增强的特征有利于区分前景，背景。在其他的检测模型可以考虑在head 或者neck融入多尺度的增强特征。