【RepPoints】RepPoints: Point Set Representation for Object Detection 译读笔记-CSDN博客

本文链接：https://blog.csdn.net/songyuc/article/details/128676376

RepPoints: Point Set Representation for Object Detection

摘要

现今的目标检测器严重依赖矩形边界框，例如在各个识别阶段使用锚点、建议框和最终预测来表示目标。边界框使用方便，但仅提提供目标的粗略位置，会导致相应目标特征的提取不够精细。本文提出了RepPoints（representative points），一种全新的更加精细的目标表示，作为一组样本点用于定位和识别。在训练时给定识别目标的真实位置，RepPoints学习表征点的排布方式，该方式会限制在目标的空间范围内，并指示出具有语义信息的重要局部区域。此外，表针点不需要使用anchors来对边界框（分布）空间采样。本文展示了基于RepPoints的anchor-free目标检测器可以与先进的基于锚点的检测方法一样有效，在 COCO test-dev检测基准上获得 $46.5 A P$ 和 $67.4AP_{50}$ ，其使用了 ResNet-101 模型。代码开源于https://github.com/microsoft/RepPoints。

1. 介绍

目标检测致力于定位图像中的目标并提供他们的类别标签。作为计算机视觉中最基本的任务之一，目标检测时许多视觉应用的关键组成部分，包括实例分割[30_DeepMask]、人体姿态分析[37_DeepPose]和视觉推理[41_VDA]。目标检测问题的重要性，以及深度神经网络的快速发展，使其在近年来取得了重大的进展[7_DeepMultiBox, 11_RCNN, 10_FastRCNN, 33_FasterRCNN, 14_SPPNet, 3_RFCN]
在目标检测过程中，边界框作为处理的基本单元，包含图像的矩形区域。它们描述了检测检测器各个阶段的目标位置，从锚点、候选框和最终预测。检测器基于这些边界框来提取特征并用于目标分类和位置细化等任务。边界框表示的普遍部分原因来自于目标检测的通用指标，这些指标衡量了对目标的估计边界框与真值框之间的重叠。另一个原因在于边界框在深度网络中提取特征十分便利，因其具有规则的形状，并且易于将矩形窗细分为池化单元的网格矩阵。
尽管边界框有助于计算，但它们仅提供了目标的粗略定位，而并非完全匹配目标的形状和姿态。于是，从边界框的常规单元格中提取的特征可能会受到背景内容或信息量少的前景区域的影响，其中信息量少的前景区域包含的语义信息较少。这可能会导致特征的质量较低，从而减低目标检测中的分类性能。
本文提出了一种名为RepPoints的新的表示方法，可以提供更细粒度的定位并有助于分类。如图1所示，RepPoints是一组点集，来自适应地学习将自身定位到目标的空间范围内，并指示具有关键语义的局部区域。RepPoints的训练由目标定位和目标识别共同驱动，从而使得RepPoints会严格地限定在真实边界框内，并引导检测器进行正确地目标分类。这种自适应和可微分的表示方法可以直接用在常见检测器地不同阶段，并且不需要使用锚点对边界框空间进行采样。
RepPoints不同于目标检测中已有的非矩形表示，这些已有方法都是以自下而上的方式构建的[38_DeNet, 21_CornerNet, 48_ExtremeNet]。这些自下而上的表示方法会识别单个关键点点（例如，边界框角点或目标末端）并依赖手工聚类将它们分组到目标模型中。此外，这些表示方法要么像边界框一样仍然是轴对齐的[38_DeNet, 21_CornerNet]，要么需要 ground truth object masks 作为额外的监督[48_ExtremeNet]。相对而言，RepPoints是以自上向下的方式从输入图像或目标特征中学习的，可以进行端到端的训练，并在没有额外监督的情况下生成细粒度的定位。
我们在两阶段目标检测器中，使用RepPoints替换了所有常规的边界框表示，包括anchors, proposals 和 final localization targets，开发出一种简洁有效的 anchor-free 检测器，在COCO基准[26_COCO]测试中，我们使用了ResNet-101模型，在不使用多尺度训练和测试的情况下达到了 $42.8 A P$ 和 $65.0AP_{50}$ ，在使用多尺度训练和测试的情况下实现了 $46.5 A P$ 和 $67.4AP_{50}$ 。本文提出的目标检测器不仅优于现有的所有 anchor-free 检测器，而且与基于锚点的SOTA基线模型性能相当。