CenterNet: Keypoint Triplets for Object Detection

摘要

在目标检测中，基于关键点的方法经常会遇到大量不正确的目标边界框，这可能是由于缺少对裁剪区域的额外查看。 本文提出了一种有效的解决方案，以最小的成本探索每个裁剪区域内的视觉模式。 我们将框架构建在一个具有代表性的单阶段基于关键点的检测器上，该检测器名为CornerNet。 我们的方法名为CenterNet，它将每个物体作为三个关键点而不是一对来检测，这提高了精确度和召回率。 据此，我们设计了两个定制模块，级联角池和中心池，分别起到丰富左上角和右下角收集的信息，并在中心区域提供更多可识别的信息的作用。 在MS-COCO数据集上，CenterNet实现了47.0%的AP，比现有的单级检测器至少高出4.9%。 同时，由于具有更快的推断速度，CenterNet证明了与顶级的两级检测器相当的性能。  

1、介绍

在深度学习特别是卷积神经网络(CNN)的帮助下，目标检测得到了显著的改进和进步。 在当今时代，最流行的流程图之一是基于锚的，它放置了一组预先定义的大小的矩形，并在ground-truth对象的帮助下将它们回归到所需的位置。 这些方法通常需要大量锚，以确保与ground truth目标的交点比足够高，每个锚框的大小和宽高比需要手工设计。 此外，锚点通常不与ground-truth boxes对齐，不利于bounding box的分类任务。  

为了克服基于锚点的目标检测方法的缺点，提出了一种基于关键点的对象检测管道——CornerNet。 它用一对角点来表示每个目标，绕过了锚框的需要，达到了目前最先进的一级目标检测精度。 但是，由于对目标全局信息的引用能力较弱，制约了CornerNet的性能。 也就是说，由于每个目标都是由一对角构成的，所以算法对检测目标的边界很敏感，同时不知道哪些关键点应该被归为目标。 因此，如图1所示，它经常生成一些不正确的边界框，其中大部分可以很容易地通过补充信息过滤掉，例如长宽比。  

                        

为了解决这个问题，我们让CornerNet具备了感知每个被提议区域内的视觉模式的能力，这样它就可以自己识别每个边界框的正确性。 在本文中，我们提出了一个低成本但有效的解决方案CenterNet，它探索了一个方案的中心部分，即靠近几何中心的区域，带有一个额外的关键点。 我们的直觉是，如果一个预测的边界框与groundtruth框有一个高IoU，那么其中心区域的中心关键点被预测为同一类的概率就高，反之亦然。 因此，在推理过程中，在建议作为一对角关键点生成后，我们通过检查是否有一个属于同一类的中心关键点位于其中心区域，来确定该建议是否确实是一个目标。 如图1所示，其思想是使用一个三元组，而不是一对关键点来表示每个目标。  

因此，为了更好地检测中心关键点和角点，我们分别提出了丰富中心和角点信息的两种策略。 第一个策略被称为中心池，它在分支机构中用于预测中心关键点。 中心汇聚有助于中心关键点在对象内部获得更容易识别的视觉模式，从而更容易感知提案的中心部分。 我们通过在一个用于预测中心关键点的特征图上得到中心关键点在水平和垂直方向上的最大总和响应来实现这一点。 第二种策略是级联角池策略，它使原角池模块具备了感知内部信息的能力。 我们通过在特征图上得到物体的边界和内部方向的最大和响应来实现这一点，以预测角点。 实验证明，这种双向池化方法更加稳定，对特征级噪声具有更强的鲁棒性，有助于提高精度和召回率。

我们在MS-COCO数据集上对提出的CenterNet进行评估，[25]是大规模目标检测最流行的基准之一。 CenterNet结合了中心池和级联角池，在测试开发集中报告了47.0%的AP，这大大超过了所有现有的单级检测器。 使用52层沙漏主干和104层沙漏主干的平均推断时间分别为270ms和340ms, CenterNet非常高效，但与其他两级探测器的最先进性能密切匹配。   

本文的其余部分组织如下。 第2节简要回顾了相关工作，第3节详细介绍了提出的CenterNet。 第四节给出实验结果，第五节给出结论。  

2、相关工作

目标检测包括目标的定位和分类。 在深度学习时代，以深度卷积神经网络为动力，目标检测方法大致可以分为两种主要类型的流程，即两阶段方法和一阶段方法。  

两阶段方法

两阶段方法将目标检测任务分为两个阶段：提取ROI，然后对ROI进行分类和回归。 R-CNN采用选择性搜索方法对输入图像中的ROI进行定位，并使用基于DCN的区域分类器对ROI进行独立分类。 SPPNet和Fast-RCNN通过从特征映射中提取ROI来改进R-CNN。 通过引入RPN (Region Proposal Network)，允许端到端训练Faster-RCNN[33]。 RPN可以通过回归锚盒来生成ROI。 随后，锚框被广泛应用于目标检测任务中。 Mask-RCNN在Faster-RCNN上增加了一个掩码预测分支，可以同时检测对象并预测其掩码。 R-FCN替换全连接层与位置敏感的得分地图，以更好地检测对象。 级联R-CNN通过训练具有增加IoU阈值的检测器序列，解决了训练时过拟合和推断时质量不匹配的问题。 提出了基于关键点的目标检测方法，以避免锚框和包围框回归的缺点。 针对目标检测的不同问题提出了其他有意义的作品，如[47,21]关注建筑设计，[1,9,36,44]关注语境关系，[22,3]关注多尺度统一。  

一阶段方法

单阶段方法去除RoI提取过程，直接对候选锚框进行分类和回归。 YOLO使用较少的锚框(将输入图像划分为S × S网格)进行回归和分类。 YOLOv2通过使用更多的锚框和新的边界框回归方法提高了性能。 SSD将锚框密集地放置在输入图像上，并使用来自不同卷积层的特征对锚框进行回归和分类。 DSSD在SSD中引入了反褶积模块，结合了低层级和高层级的特征。 而R-SSD则在不同的特征层使用池化和反褶积操作来组合低级和高级特征。 RON在有效提取多尺度特征之前提出了一个反向连接和一个客观性。 RefineDet对锚框的位置和大小进行了两次细化，继承了单阶段和两阶段方法的优点。 CornerNet是另一种基于关键点的方法，它使用一对角直接检测目标。 虽然CornerNet取得了很高的性能，但它仍然有更多的改进空间。  

 

                         

3、我们的方法

3.1、基线和动机

本文以[20]为基础。 为了检测角，CornerNet生成了两个热图：左上角的热图和右下角的热图。 热图代表了不同类别的关键点的位置，并为每个关键点分配一个置信度评分。 此外，它还预测了每个角的嵌入和一组偏移量。 嵌入物用于识别两个角是否来自同一物体。 偏移学习重新映射角从热图到输入图像。 为了生成对象包围框，根据热图的得分，分别选择左上角和右下角的k个角。 然后，计算一对角的嵌入向量的距离，以确定成对的角是否属于同一目标。 如果距离小于阈值，则生成一个目标边界框。 边界框被分配一个置信度分数，它等于角对的平均分数。  

在表1中，我们提供了对CornerNet的更深入的分析。 计算MS-COCO验证数据集上的FD(错误发现)率，定义为错误边界框的比例。 定量结果表明，即使在IoU阈值较低的情况下，错误的边界框也占很大比例，如在IoU = 0.05时，CornerNet获得32.7%的FD率。 这意味着在平均情况下，每100个目标边界框中有32.7个具有低于0.05的地面真相IoU。 小的不正确的边界框甚至更多，达到60:3%的FD率。 一个可能的原因是，CornerNet无法查看边界框内的区域。 为了使CornerNet感知到边界框中的视觉模式，一种可能的解决方案是将CornerNet适配为一个两级检测器，该检测器使用RoI池化来查看边界框中的视觉模式。 然而，众所周知，这样的范例在计算上是昂贵的。  

在本文中，我们提出了一个称为CenterNet的高效替代方案来探索每个边界框内的视觉模式。 为了探测一个物体，我们的方法使用了三个关键点，而不是一对关键点。 通过这样做，我们的方法仍然是一个单阶段检测器，但部分继承了RoI池的功能。 我们的方法只关注中心信息，我们的方法的成本是最小的。 同时，我们利用中心池和级联角池进一步将物体内部的视觉模式引入关键点检测过程中。  

3.2、目标检测作为三个关键点

整个网络体系结构如图2所示。 我们用一个中心关键点和一对角来表示每个目标。 具体来说，我们在CornerNet的基础上嵌入一个中心关键点的热图，并预测中心关键点的偏移量。 然后，我们使用CornerNet中提出的方法来生成top-k边界框。 但是，为了有效地过滤不正确的包围框，我们利用检测到的中心关键点，采取以下步骤：(1)根据得分选择top-k的中心关键点；(2)利用相应的偏移量将这些中心关键点重新映射到输入图像上；(3)为每个边界框定义一个中心区域，并检查中心区域是否包含中心关键点。 注意，选中的中心关键点的类标签应与包围框的类标签相同；(4)如果在中心区域检测到一个中心关键点，我们将保留包围框。 包围框的得分将被左上角、右下角和中心关键点三个点的平均分所取代。 如果在它的中心区域没有检测到中心关键点，包围框将被移除。  

边界框中中心区域的大小会影响检测结果。 例如，较小的中心区域导致小包围框的低召回率，而较大的中心区域导致大包围框的低精确度。 因此，我们提出了一个感知尺度的中心区域来自适应地适应包围框的大小。 尺度感知的中心区倾向于为一个较小的边界框生成一个相对较大的中心区，而为一个较大的边界框生成一个相对较小的中心区。 假设我们想要确定一个边界框是否需要保留。 让及表示的坐标左上角坐标，和表示的右下角的坐标。定义一个中部区域。让和表示的左上角的坐标，和表示的右下角坐标。然后，和应该满足下面关系：

                         

其中n为奇数，决定了中心区域j的尺度。在本文中，对于小于150的边界框和大于150的边界框，n分别设为3和5。 图3分别显示了n = 3和n = 5时的两个中心区域。 根据式(1)，我们可以确定一个尺度敏感的中心区域，然后我们检查该中心区域是否包含中心关键点。        

3.3、丰富中心点和角点

中心池化

物体的几何中心不一定传达非常可识别的视觉模式(例如，人的头部包含强烈的视觉模式，但中心关键点往往在人体的中间)。 为了解决这个问题，我们建议使用中心池来捕获更丰富和更易于识别的视觉模式。 图4(a)显示了中心池的原理。 中心池化的具体过程是:骨干输出一个特征图，要确定特征图中的一个像素是否为中心关键点，需要在其水平和垂直方向上都找到最大值并相加。 通过这样做，中心池有助于更好地检测中心关键点。  

级联中心池化

角落往往在物体的外部，缺乏局部的外观特征。 CornerNet使用角池化来解决这个问题。 角池化的原理如图4(b)所示。 角池化的目的是找到边界方向上的最大值，从而确定角。 然而，它使角对边缘敏感。 为了解决这个问题，我们需要让角落“看到”物体的视觉模式。 级联角池化的原理如图4(c)所示。 它首先沿着边界寻找边界最大值，然后沿着边界最大值2的位置向内寻找内部最大值，最后将两个最大值相加。 通过这样做，角既获得了物体的边界信息，又获得了物体的视觉模式。  

        

                      

通过结合不同方向的角池化，可以很容易地实现中心池和级联角化。 图5(a)显示了中心池模块的结构。 要在一个方向取最大值，例如水平方向，我们只需要串联左池和右池。 图5(b)显示了级联转角池化模块的结构。 相比于CornerNet中的上角池，我们在上角池化之前添加了左角池化。

3.4、训练和测试

训练

我们的方法在Pytorch中实现，网络是从头开始训练的。 输入图像的分辨率为511 × 511，生成了128×128大小的热图。 我们使用[20]中提出的数据增强策略来训练一个鲁棒模型。 Adam[18]用于优化训练损失：

其中Lcodet和Lcedet表示Focal Loss，分别用来训练网络检测角点和中心关键点。 Lco拉是角的“拉”损失，用于最小化属于同一对象的嵌入向量的距离。 Lco push是角的“push”损失，用于最大化不同对象的嵌入向量的距离。 Lco off和Lce off分别为' 1-loss[10]，用来训练网络预测角点和中心关键点的偏移量。 α、β和γ表示相应损失的权重，分别设为0.1、0.1和1。 Ldet、Lpull、Lpush、Loff都在CornerNet中有定义，建议参考[20]。 我们在8个8 Tesla V100 (32GB) GPUs上训练CenterNet，使用48个批量。 最大迭代次数为480K。 对于第一次450K迭代，我们使用2.5×10−4的学习率，然后继续以2.5×10−5的学习率训练30K迭代。  

推断

[20]之后，进行单尺度测试，将原分辨率和水平翻转图像输入网络。 而在多尺度测试中，我们同时输入分辨率为0:6的原始图像和水平翻转图像; 1; 1.2; 1.5和1.8。 我们从热图中选择顶部的70个中心关键点，顶部的70个左上角和顶部的70个右下角来检测边界框。 我们翻转水平翻转图像中检测到的包围框，并将它们混合到原始包围框中。 使用Soft-nms删除多余的边界框。 我们最终根据得分选取前100个包围框作为最终检测结果。  

4、实验

4.1、数据集、度量和基线

我们在MS-COCO数据集[25]上评价了我们的方法。 它包含80个类别和超过1.50万个对象实例。 大量的小目标使它成为一个非常具有挑战性的数据集。 我们使用' trainval35k '集[15](即80K训练图像和35K验证图像)在测试开发集上进行训练和测试结果。 我们在验证集中使用另一个5K图像来进行消融研究和可视化实验。  

MS-COCO数据集[25]使用AP和AR度量来描述检测器的性能。 AP代表平均准确率，它是在10个不同的IoU阈值(即0.5：0.05：0.95)和所有类别下计算的。 它被认为是MSCOCO数据集上最重要的指标。 AR代表最大召回率，它是在每张图像的固定检测次数(即1、10和100)上计算的，并在所有类别和10个不同的IoU阈值上取平均值。 此外，AP和AR可用于评估不同目标尺度下的性能，包括小目标(面积< )、中对象(<面积< )和大对象(面积> )。  

我们的直接基线是CornerNet。 接下来，我们使用52层和104层堆叠的沙漏网络作为主干——后者有两个沙漏模块，而前者只有一个。 [20]对沙漏结构的所有修改都被保留下来。  

4.2、和最先进的检测器的比较

表2显示了与MS-COCO测试开发集上最先进的检测器的比较。 与基础的基础网[20]相比，本文提出的中心网有了显著的改进。 例如,CenterNet511-52(意味着输入图像的分辨率为511×511,骨干Hourglass-52) 41.6% single-scale测试mAP，改善3.8% 37.8%，和多尺度测试mAP 43.5%改善4.1% 39.4%,通过CornerNet在相同设置。 当使用更深层次的主干网(即沙漏104)时，在单尺度和多尺度测试下，AP相对于CornerNet的改善分别为4.4%(从40.5%到44.9%)和4.9%(从42.1%到47.0%)。 这些结果有力地证明了CenterNet的有效性。 、             同时，可以看出，贡献最大的是小物体。 例如，CenterNet511-52将小目标的AP提高了5.5%(单尺度)和6:4%(多尺度)。 对于沙漏-104的主干层，改进幅度分别为6.2%(单尺度)和8.1%(多尺度)。 这个好处来自于中心关键点所模拟的中心信息：一个不正确的边界框的规模越小，中心关键点在其中心区域被检测到的概率就越低。 图6(a)和图6(b)给出了一些定性比较，证明了CenterNet在减少小的错误包围框方面的有效性。  

CenterNet在减少中、大型错误边框方面也有很大的改进。 如表2所示，CenterNet511-104将单标度测试AP分别提高了4.7%(从42.7%提高到47.4%)和3:5%(从53.9%提高到57.4%)。 图6(c)和图6(d)显示了减少中、大错误边框的一些定性比较。 值得注意的是，AR也得到了显著的改进，在多尺度测试中取得了最好的性能。 这是因为我们的方法去除了很多不正确的边界框，这相当于提高了那些位置准确但得分较低的边界框的置信度。  

在比较其他单级方法时，CenterNet511-52报告了41.6%的单级测试AP。这一成绩已经优于使用更深层次模型(如RetinaNet800和RefineDet)。 CenterNet的最佳性能是AP 47.0%，大大超过了我们所知的所有已公布的单阶段方法。  

最后,一个人可以观察到的性能CenterNet也是竞争的两阶段方法，例如，single-scale测试美联社CenterNet511-52与两阶段方法健身RCNN(41.6%比41.8%)和CenterNet511 - 104与D-RFCN +剪[38](44:9%比45:7%)。 然而，需要指出的是，两阶段方法通常使用更大的分辨率输入图像(例如，约1000 × 600)，这大大提高了检测精度，特别是对小目标。 由CenterNet511-104实现的多尺度测试AP 47.0%与由两级检测器PANet实现的最先进的AP 47.4紧密匹配。 我们在图7中给出了一些定性检测结果。  

4.3、不争取的包围框减少

AP度量反映了一个网络能够预测多少个高质量的目标绑定框(通常是IoU > 0.5)，但不能直接反映一个网络生成了多少个错误的目标绑定框(通常是IoU 0.5)。 FD率是一个合适的度量，它反映了错误边界框的比例。 表3显示了CornerNet和CenterNet的FD费率。 即使在IoU = 0.05阈值时，CornerNet也会产生许多错误的边界框，即CornerNet-511-52和CornerNet-511-104分别获得35.2%和32.7%的FD率。 另一方面，CornerNet生成的小错误边界框比中错误边界框和大错误边界框更多，中错误边界框报告拐角511-52为62:5%，拐角511-104为60.3%。 我们的中心网通过探索中部地区，降低了所有标准的FD率。 例如，CenterNet-511-52和CenterNet511-104都使FD5降低了4:5%。 另外，小边界框的FD率下降最大，CenterNet511-52和CenterNet511-104的FD率分别为9:5%和9:6%。 这也是小目标AP改进更为突出的原因。  

图 6

图 7

表 3

             

 

4.4、推理速度

提议的CenterNet以最小的成本探索每个提议区域内的视觉模式。 为了确保公平的比较，我们在NVIDIA Tesla P100 GPU上测试了cornerstone[20]和CenterNet的推理速度。 得到CornerNet511-104的平均推断时间为每幅图像300ms, CenterNet511-104的平均推断时间为340ms。 同时，使用沙漏-52骨干可以加快推理速度。 我们的CenterNet511-52处理每张图像平均需要270ms，比CornerNet511-104更快更准确。  

4.5、消融研究

我们的工作分为三个部分:中部地区勘探、中心池和级联角池。 为了分析每个单独成分的贡献，这里给出一个消融研究。 基线是CornerNet511-52。 我们将三个组件一个一个地添加到基线中，并遵循4.1节中详细介绍的默认参数设置。 结果如表4所示。

中心区域探索

为了理解中心区域探索的重要性(参见表中的CRE)，我们在基线上添加了一个中心热图分支，并使用一个关键点的三元组来检测边界框。 对于中心关键点的检测，我们只使用传统的卷积。 如表4第三行所示，我们将AP提高了2.3%(从37.6%提高到39.9%)。 然而，我们发现对于小目标(即4.6%)的改进比其他目标尺度的改进更显著。 对于大目标的改进几乎可以忽略不计(从52.2%到52.3%)。 这并不奇怪，因为从概率的角度来看，小物体的中心关键点比大物体的中心关键点更容易定位。  

                  

 

中心池化

为了演示提出的中心池的有效性，我们将中心池化模块添加到网络中(参见表中的CTP)。 表4中的第四行显示，中心池化使AP提高了0.9%(从39.9%提高到40.8%)。 值得注意的是，在中心池化的帮助下，我们将大目标的AP提高了1.4%(从52.2%提高到53.6%)，这比使用传统卷积(即1.4%对0.1%)的提高要高得多。 实验结果表明，该中心池方法能够有效地检测目标的中心关键点，特别是对于大目标的检测。 我们的解释是，中心池可以提取更丰富的内部视觉模式，更大的目标包含更容易访问的内部视觉模式。 图6(e)显示了没有或有中心池的情况下检测中心关键点的结果。 我们可以看到，传统的卷积方法无法定位到牛的中心关键点，而通过中心池的方法可以成功定位到牛的中心关键点。  

级联角池化

我们用级联角池化替换角池化来检测角(参见表中的CCP)。 表4中的第二行显示了我们在CornerNet511-52基础上测试的结果。 我们发现级联角池将AP提高了0.7%(从37.6%提高到38.3%)。 最后一行显示了我们在CenterNet511-52的基础上测试的结果，它将AP提高了0.5%(从40.8%到41.3%)。 第二行结果显示，对于大目标，AP几乎没有变化(即，52.2% vs. 52.2%)，但AR提高了1.8%(从74.0%到75.8%)。 这表明，级联角池由于大对象内部丰富的视觉模式，可以“看到”更多的目标，但过于丰富的视觉模式可能会干扰其对边界信息的感知，导致许多不准确的边界框。 在装备了我们的CenterNet后，不准确的包围框被有效地抑制了，这提高了2.2%的AP大目标(从53.6%到55.8%)。 图6(f)显示了使用角池或级联角池检测角的结果。 我们可以看到，级联角池可以成功地为左边的猫找到一对角，而角池则不能。  

4.6、误差分析

对每个边界框内的视觉模式的探索取决于中心关键点。 换句话说，一旦错过了一个中心关键点，建议的CenterNet就会错过边界框内的视觉模式。 为了理解中心关键点的重要性，我们用地面真实值替换预测的中心关键点，并在MS-COCO验证数据集上评估性能。 表5显示，使用地面真实中心关键点将CenterNet511- 52的AP从41.3%提高到56.5%，CenterNet511-104的AP从44.8%提高到58.1%。 用于小型、中型和大型目标的ap对CenterNet511-52分别提高了15.5%、16.5%和14.5%，对CenterNet511-104分别提高了14.5%、14.1%和13.3%。 这说明中心关键点的检测远远没有成为瓶颈。  

5、结论

在本文中，我们提出了CenterNet，它使用一个三联体，包括一个中心关键点和两个角检测目标。 我们的方法通过以最小的成本探索每个提议区域内的可视模式，解决了街角网缺乏对裁剪区域的额外查看的问题。 事实上，这是所有单阶段方法的共同缺陷。 由于单阶段方法去除了RoI提取过程，因此无法关注裁剪区域内的内部信息。 对我们的贡献的一个直观的解释是，我们装备了一个具有两级方法能力的一级检测器，并添加了一个有效的鉴别器。 我们相信我们为中心关键点增加一个额外分支的想法可以推广到其他现有的单阶段方法(例如，SSD)。 同时，一些高级的训练策略可以用于更好的表现。 我们离开是我们未来的工作。