anchor free 目标检测_CVPR 2020丨商汤提出Anchor-free目标检测新网络

在CVPR 2020上，商汤3D&AR团队-身份认证与视频感知组提出了基于向心偏移的Anchor-free目标检测网络CentripetalNet，为基于关键点的目标检测方法研究带来了新思路。CentripetalNet在大型公开数据集MS-COCO上达到了目前Anchor-free检测模型中的最优效果。

论文地址见文末。

---

动机

现有的基于关键点的目标检测网络（如CornerNet、CenterNet、ExtremeNet等）通过使用关联嵌入向量进行物体关键点的匹配，然而关联嵌入向量具有训练难度大且容易混淆同类物体的缺点，这会造成许多错误的关键点匹配从而导致错误的检测结果。

因此本文提出使用关键点的向心偏移（Centripetal Shift）来进行匹配，其背后的思想是同一个物体的不同关键点应该对应同一个物体中心点。

从下图可以直观的看到利用向心偏移匹配相对于关联嵌入向量在避免错误匹配方面的优势。

我们采用物体边界框的两个角点作为关键点，但角点位置缺乏物体信息，现有方法使用角点池化的方法将物体边界信息聚合到角点位置，然而我们发现角点位置依然缺乏物体内部信息，这些物体内部特征在角点位置形成了如下图的“十字星（Cross-Star）”。

因此我们设计了十字星可变形卷积（Cross-Star Deformable Convolution），成功地提取了这些物体内部信息，从而优化了角点位置的物体特征，提高了模型性能。

模型设计

CetripetalNet可以分为4个部分：特征提取网络，角点检测与特征调节，向心偏移模块，实例分割模块。

整体架构如下图所示：

1、特征提取网络

CentripetalNet和CenterNet、CornerNet一样，采用Hourglass-104和Hourglass-52作为特征提取网络。

2、角点检测和特征调节模块

左上角点和右下角点的这部分模块是独立的。角点检测采用关键点预测的方法，用角点的ground truth构建要回归的角点热力图并加以高斯化，让网络输出回归该热力图从而学习预测角点位置；特征调节即是十字星可变形卷积，通过利用角点池化之后的特征预测十字星几何信息（guiding shift），然后从十字星几何信息中学习可变形卷积的采样点偏移。

3、向心偏移模块

首先使用经过十字星可变形卷积调节之后的特征预测每个角点的向心偏移，接着结合角点位置，完成角点的匹配，得到检测到的物体边界框。

4、实例分割模块

使用特征提取网络得到的物体特征图和3得到的物体检测框作为输入，利用RoIAlign提取每个感兴趣区域的特征，然后利用多个卷积和反卷积层预测物体掩膜。

实验分析

1、在COCO Test-dev上，CentripetalNet达到了Anchor-free模型中的最优检测效果，同时在实例分割方面的表现也具有一定竞争力。

2、向心偏移相对于关联嵌入向量的优势

为了比较向心偏移和关联嵌入向量的性能，我们使用特征提取网络为Hourglass-52的CornerNet作为基准模型，然后将关联嵌入向量直接替换为向心偏移进行比较。为了公平起见，我们还将关联嵌入的向量增加为2维，这和向心偏移的维度一致，从下表可以看到，基于向心偏移的方法性能明显更优。

3、十字星可变形卷积的有效性

我们比较了十字星可变形卷积和其他特征调节方法的性能差异（包括普通可变形卷积以及RoIConv）

我们还比较了几种特征调节方法的采样点位置，发现只有十字星可变形卷积可以很好地采样到十字星上的特征信息。

4、和现有算法的可视化比较

下图三行从上至下分别是CornerNet，CenterNet和CentripetalNet

5、实例分割效果可视化

如果大家有关于此论文的问题，可留言咨询讨论。

论文地址：https://arxiv.org/pdf/2003.09119.pdf

代码地址：https://github.com/KiveeDong/CentripetalNet