RepPoints 论文笔记

前言

一直以来，在目标检测中，边界框是处理的基本元素：在图像中先定位目标的边界框，再从边界框中提取特征，最后基于边界框里提取的特征进行目标的识别和推理。

但是，基于边界框的目标表示也有一些缺点，它们只提供一个粗略的目标定位，并不完全拟合目标的形状和姿态。此外，从边界框的规则网格中提取的特征可能会受到背景或包含少量语义信息的前景区域的严重影响。这些都会使提取的特征质量变低，从而降低了目标检测的分类性能。

本文提出了一种新的目标表示方式，称为RepPoints，它能提供更细粒度的分类和更方便的定位，如下图所示：

RepPoints能自适应地分布在目标重要的局部语义区域，并能表征目标的几何外延，从而提供了一个对目标更加细致的几何描述，同时这些点也能用于提取对识别有帮助的图像特征。

RepPoints的学习由两项监督信息驱动，分别是目标定位与目标识别，因此RepPoints与gt box紧密相关，并引导检测器实现正确的目标分类。RepPoints可以被连贯地用于目标检测器的不同阶段，并且不需要anchor。

现有的非矩形表示目标的检测器，它们都是以自底向上的方式构建的，它们的表示依然像边界框那样是轴对齐的，或者需要gt作为额外的监督。而RepPoints是以自顶向下的方式从输入图像/特征中学习的，允许端到端的训练，并且不需要额外监督就能实现细粒度的目标定位。

---

边界框表示

边界框是对目标的空间位置的4-d表示，$B=(x,y,w,h)$，其中$x,y$表示中心点，$w,h$分别表示宽和高。在多阶段目标检测器中，目标定位是逐步细化的。目标表示的过程如下：

在first stage，对于一个anchor，位于其中心处的图像特征被采用为目标特征，然后根据这个目标特征产生一个置信度分数，表示这个anchor中是否包含一个目标，还要通过边界框回归产生refined bbox。如上式，refined bbox被记为"bbox proposal（S1）".

在second stage，refined feature通过RoI-pooling或者RoI-Align从refined bbox中提取出来。对于一个two-stage的检测器来说，这个refined feature会通过边界框回归产生最终的bbox；对于multi-stage检测器来说，refined feature会通过边界框回归生成中间的refined bbox proposal（S2），如上式所示。

在边界框回归中，用一个4-d的回归向量$(\Delta x_p,\Delta y_p,\Delta w_p,\Delta h_p$