iffDetector-目标检测新优化算法 | Inference-aware Featuraware Feature Filtering for Object Detection

想法直接，提升有限
论文地址：https://arxiv.org/pdf/2006.12708.pdf
Github地址：https://github.com/anonymous2020new/iffDetector

Abstract：

基于现代CNN的目标检测器专注于训练过程中的特征配置，但在推理过程中经常忽略特征优化。在本文中，我们提出了一种新的特征优化方法，以在训练和推理阶段增强特征并抑制背景噪声。我们引入了通用的可感知推理的特征过滤（IFF）模块，该模块可以轻松地与现代j检测器结合使用，从而形成了我们的iffDetector。与没有反馈的传统开环特征计算方法不同，IFF模块通过利用高级语义来增强卷积特征来执行闭环优化。通过应用傅立叶变换分析，我们证明了IFF模块充当负反馈，从而从理论上保证了特征学习的稳定性。 IFF可以即插即用的方式与基于CNN的目标检测器融合在一起，而计算开销却可以忽略不计。在PASCAL VOC和MS COCO数据集上进行的实验表明，我们的iffDetector始终以明显的优势胜过最先进的方法。

Introduction：

现有基于CNN的目标检测器，由于检测环境遮挡等问题，造成主干网络提取到的目标和背景激活区域模棱两可。具体来说，可能会造成在原始特征图上，背景的某些部分被错误地激活（参见图1（b），这可能导致检测错误。此外，现有的检测算法没有在推理过程中对提取到的特征进行优化。

针对以上问题，本文提出了一种推理感知特征过滤（IFF）方法，该方法通过在检测网络中引入反馈体系结构在理论框架中优化特征学习。 IFF与现有的推理框架的不同之处在于，它将常规的推理模块合并到我们的过滤模块中以修饰特征图，而不是仅仅为了最终检测而这样做。通过将IFF应用于原始特征图，我们可以增强正确激活的区域，使其更加密集​​，同时抑制背景（请参见图1（c））。这导致更准确的目标预​​测。

本文主要贡献：
1）提出了一个通用的感知感知特征过滤（IFF）模块，该模块可以轻松地应用于Anchor-Based的和Anchor-Free的检测器上，以在推理过程中优化CNN特征；

2）对提出的IFF提供了可解释的调查，从理论上保证了基于CNN的探测器的特征学习稳定性；

3）在COCO 2017数据集上，我们在各种现有检测器（包括最新技术）上的平均精度（AP）上均获得了显着的性能提升，而计算成本的增长可忽略不计。

Inference-aware Feature Filtering（IFF）：

上图红线表示现有目标检测算法的前向推理流程。本文提出的IFF模块相当于对前向计算的特征y[0]使用Leaky Relu激活函数和卷积w2进行调整，再与y[0]特征元素相加操作，得到最后优化后的特征。其中，可应用多个IFF模块进行特征优化。具体公式为：

这种反馈结构的优点主要是：
1）去噪。输入图像通常在光照和目标遮挡方面有很大的差异，这导致CNN主干生成“受污染的”特征图。结果，基于这种特征图的预测可能有些含糊。到CNN时，将开环特征计算更新为闭环特征优化；基于控制理论，这种架构使特征图对噪声更鲁棒；这种负反馈在原始预测中重用了启发式信息，对特征进行消噪地图，并使其正确激活的区域更加密集；

2）探索高级语义。有理由推断，分类框和边界框具有耦合关系。例如，汽车和人的包围盒通常是不同的，特别是在它们的纵横比方面。为此，反馈结构有助于合并位置和分类，从而促进检测器学习耦合关系。

iffDetector：

以yolov2检测器被base（不知道为啥选这么老的算法），添加1-2个IFF模块用于特征优化，并使用最后的特征作为目标特征并进行NMS得到检测结果。设计的卷积滤波器的大小是灵活的。 对于主干网络Darknet19和VGG-16，使用1 x 1过滤器；对于ResNet-50-FPN和ResNeXt-64x4d-101-FPN，使用3 x 3过滤器，参数数量增加不到2％。

Theoretical Investigation：

理论推导：略

Experiments：

1.IFF个数（1-2个即可）：

2.Model Effect：

3.Detection Performance：（提升有限）