IoU-aware Single-stage Object Detector for Accurate Localization-----论文阅读笔记

原文和代码：

原文
代码

Abstract

存在的问题？

检测结果中分类分数与定位精度( anchor 回归 )之间的低相关性严重影响了检测模型的平均精度

解决办法

本文提出了一种基于IoU的单级目标检测器。具体而言，IoU感知单级对象检测器预测每个检测到的框的IoU。然后将预测的IoU与分类分数相乘，计算最终检测置信度，该置信度与定位精度更相关。然后将检测置信度作为后续NMS和COCO AP计算的输入，这大大提高了模型的定位精度。在COCO和PASCOL VOC数据集上的充分实验证明了IoU感知单级目标检测器在提高模型定位精度方面的有效性。

Introduction

我们证明了分类分数和单级探测器定位精度之间的低相关性严重损害了模型的定位精度。
低相关性主要是由于分类和定位的子网络使用独立的目标函数进行训练，而没有明确地相互了解。在模型收敛后，分类子网络预测每个回归锚的分类分数，而不知道定位精度，由回归锚和地面真值框之间的IoU表示。因此，将有许多检测具有分类分数与其定位精度之间的不匹配问题，例如具有高分类分数但低IoU的检测，具有低分类分数但高IoU的检测，如图1所示。在推理过程中，这些检测在两个方面损害了模型的平均精度。首先，在标准非最大抑制（NMS）期间，所有检测都根据其分类分数进行排序，分类分数最高的检测将抑制重叠高于手动设置阈值的其他检测。因此，分类分数低但IoU高的检测将被分类分数高但IoU低的检测所抑制。例如，如图1所示，精确框A1、B1和C1分别被不精确框A2、B2和C2抑制。
其次，在计算平均精度（AP）的过程中，所有检测也根据其分类得分进行排序。准确度和召回率是基于这些分级检测计算的，如果分类分数高但IoU等级低的检测比分类分数低但IoU等级高的检测早，则高IoU阈值下的准确度将降低，从而导致高IoU阈值下的AP降低。例如，图1中幸存的框被排列为C2、B2、A2，这导致AP低于它们被排列为A2、B2、C2的AP。这两种情况都损害了模型的平均精度。

总结：

问题：

1. 分类和回归的子网络使用独立的目标函数进行训练，而没有明确地相互了解
2. 标准非最大抑制（NMS）期间，所有检测都根据其分类分数进行排序，就有着分类分数与其定位精度之间的不匹配问题

• 高分类分数但低IoU的检测，具有低分类分数但高IoU的检测

3. 如果 分类分数高但IoU等级低的检测 比 分类分数低但IoU等级高的检测 检测的更早，则高IoU阈值下的准确度将降低。

作者解决方案：

与回归头平行的IoU预测头连接到回归分支的最后一层，以预测每个回归锚的IoU。在训练过程中，IoU预测头与分类头和回归头联合训练。在推理过程中，通过将每个检测框的分类分数和预测IoU相乘来计算检测置信度，然后用于在后续NMS和AP计算中对所有检测进行排序。

2. Related Work

3. Method

3.1. IoU-aware single-stage object detector

图2：IoU感知单级对象检测器的模型架构。RetinaNet采用相同的主干网和特征金字塔网（FPN）。IoU预测头与回归分支最后一层的回归头平行设计，用于预测每个检测框的IoU。分类头、回归头和IoU预测头都只包含一个3*3卷积层。

3.2. Training

3.3. Inference

分类分数P_i乘以每个检测框的预测 IoU_i，以计算最终检测置信度S_det
参数 α 用于控制分类分数和预测IoU对最终检测置信度的贡献

后续可以参考原文或以下blog

新文预览 | IoU-aware Single-stage Object Detector for Accurate Localization