论文笔记：IOUnet

作者指出，目前主流的目标检测网络都由两步完成：目标分类和目标定位。首先从背景中找出前景的object proposal并将其分配上合适的分类标签，然后通过最大化IOU或者其他检测结果和ground truth之间的度量标准来进行对定位目标的系数回归。最后多余的bounding box会通过NMS去除。

分类和定位在这样的检测流水线上被不同的处理，每种分类标签是proposal的“classification confidence”，然而bounding box的回归模块只预测了针对proposal的变换系数以拟合目标位置，“localization confidence”却在循环中缺失。

这样带来两个问题：

首先，在抑制重复检测时，classification score通常会用作成给proposal排名的标准，可能导致更准确的边界框反而被不准确的抑制的情况。

图片中黄框为ground truth，绿框和红框都是检测结果，绿框定位更准确但cls conf更低。

其次，缺乏localization confidence使得被广泛使用的边界框回归方法缺少可解释性或可预测性。先前的工作曾指出bounding box迭代回归的非单调性，也就是说，应用多次之后bounding box回归可能有损bounding box定位表现（如下图）。

对于以上问题作者提出：
1.IOU是对定位准确度的一个天然准则。作者用预测的IOU替换classification confidence作为NMS中的排名关键依据。称为IOU-guided NMS，有助于消除cls conf误导下的错误。

2.提出了一种与传统的基于回归的方法表现相当的基于优化的bounding box改良流程。使用预测到的IOU优化目标，同时作为定位置信度的可解释性指示量。提出的Precise RoI Pooling layer可以通过梯度上升求解IOU优化。实验表明该方法能与基于CNN的检测器兼容，并且能带来定位准确率的单调上升。

深入目标定位

作者探究目标定位的两个问题

1.Misaligned classification and localization accuracy

当移除重复bounding box时，NMS是不可缺少的步骤。近期有一系列算法对NMS进行了改进，但作者认为这些基于参数的方法需要更多的计算资源，使得其无法进行实时应用。

而在广泛应用的NMS方法中，cls conf被用来给bounding box排名。作者将cls conf和IOU进行可视化，可以看到，定位准确度与cls conf并不是很好的相关联。

对于pearson correlation即

作者指出在传统NMS中，对于同一个单个物体的多重检测，拥有最高cls conf的bounding box会保留下来，而由于这种“misalignment”，拥有更好的位置的bounding box可能会在NMS过程中被抑制。

作者还将使用NMS，IOU-Guided NMS，和不使用NMS进行了对比。作者将bounding box根据与它们对应的ground truth的IOU进行组合。对于同一个ground truth的多重检测匹配中，只有最高IOU的被认为是正样本，那么No-NMS可以被认为是正样本的上限。可以看到在使用NMS之后有超过一半的与ground truth