【目标检测】|ECCV2020-HCE-全局Roi Align目标检测网络 | Hierarchical Context Embedding for Region-based Object Detec

提出问题

二阶目标检测器利用RoIPool或RoIAlign提取的区域特征作为ROI。尽管与proposals位置很好地相符，但区域范围内的特征仍可能缺少关键的上下文信息

尤其对于滤除嘈杂的背景检测以及识别没有明显外观的目标是必不可少的。

问题分析

上下文信息是指任何辅助信息，可以帮助抑制噪声背景中的误报检测，或识别本身没有明显外观的对象。
(虽然非常深的CNN中的每个RoI可能有一个非常大的理论感受野，通常覆盖整个输入图像[13]。然而，有效感受野[28]可能只占据整个理论感受野的一小部分，使得RoI特征不足以描述高度依赖上下文信息的对象)

如图1（a）所示，“motorcycle”的语义特征是过滤掉“spoon”、“bowl”和“sink”等不相关对象类别激活的有力证据。另一方面，如图1（b）所示，场景甚至人类姿势都是有用的线索，可以正确地将提案分类为“滑板”，而不是“网球拍”

一些研究利用区域级上下文信息来提高两级检测器的定位能力。Chen等人[6]证明，来自相邻区域的丰富上下文信息可以更好地优化两级检测器的建议位置。Kantorov等人[20]利用周围的上下文区域来改进弱监督对象定位。然而，据我们所知，目前还没有系统地设计用于嵌入上下文信息以提高基于区域的检测器分类能力的支持框架。

该文方法

提出了一个简单但有效的层级上下文嵌入（HCE）框架，该框架可用作即插即用组件，通过挖掘上下文线索来促进一系列基于区域的检测器的分类能力。具体来说，三个模块
1 为了提高对上下文相关目标类别的识别，我们提出了一种Image-Level Categorical Embedding（图像级分类嵌入模块），该模块利用整体图像级上下文学习目标级概念。该模块本质上是在检测主干网络上与现有基于区域的检测头并行的多标签分类器，将目标级特征学习部分转换为图像级多标签分类任务
2 第二个模块，Hierarchical Contextual RoI Feature Generation，分层上下文ROI特征生成模块来整合实例级和全局级信息。 通过在整个图像和感兴趣的区域下面利用分层嵌入的上下文信息来生成新颖的RoI特征，这也是对传统RoI特征的补充。
3 Feature Fusion && Confidence Fusion模块，分别利用特征融合与分类置信度融合进一步提升性能。 为了充分利用我们的分层上下文RoI功能，我们提出了早期和晚期融合策略（即特征融合和置信度融合），可以将其组合以提高基于区域的检测器的分类精度。

创新点

我们专注于全监督目标检测的任务，特别是利用全局图像级上下文来推进上下文相关目标类别的识别。

1.利用一阶段生成的proposals对特征X（Image-Level Categorical Embedding中的中间特征）进行ROI Align，得到目标实例级别的ROI特征X-instance

2.对特征X进行全局ROI Align得到全局的ROI特征X-global，这两个ROI特征的区别就是ROI Align时的特征尺寸不一致，生成的特征均是7x7大小

结论