anchor free 目标检测_CVPR 2020 | 商汤提出 Anchor-free 目标检测新网络

2

动机

1、现有的基于关键点的目标检测网络(如CornerNet、CenterNet、ExtremeNet等)通过使用关联嵌入向量进行物体关键点的匹配，然而关联嵌入向量具有训练难度大且容易混淆同类物体的缺点，这会造成许多错误的关键点匹配从而导致错误的检测结果。因此本文提出使用关键点的向心偏移(centripetal shift)来进行匹配，其背后的思想是同一个物体的不同关键点应该对应同一个物体中心点。从下图可以直观的看到利用向心偏移匹配相对于关联嵌入向量在避免错误匹配方面的优势。

2、我们采用物体边界框的两个角点作为关键点，然而角点位置缺乏物体信息，现有方法使用角点池化的方法将物体边界信息聚合到角点位置，然而我们发现角点位置依然缺乏物体内部信息，而这些物体内部特征在角点位置形成了如下图的“十字星(cross-star)”，因此我们设计了十字星可变形卷积(cross-star deformableconvolution)，成功地提取了这些物体内部信息，从而优化了角点位置的物体特征，提高了模型性能。

3

模型设计

CetripetalNet可以分为4个部分：特征提取网络，角点检测与特征调节，向心偏移模块，实例分割模块，整体架构如下图所示。

1、特征提取网络：

CentripetalNet和CenterNet、CornerNet一样，采用Hourglass-104和Hourglass-52作为特征提取网络。

2、角点检测和特征调节模块

左上角点和右下角点的这部分模块是独立的。角点检测采用关键点预测的方法，用角点的ground truth构建要回归的角点热力图并加以高斯化，让网络输出回归该热力图从而学习预测角点位置；特征调节即是十字星可变形卷积，通过利用角点池化之后的特征预测十字星几何信息(guiding shift)，然后从十字星几何信息中学习可变形卷积的采样点偏移。

3、向心偏移模块

首先使用经过十字星可变形卷积调节之后的特征预测每个角点的向心偏移，接着结合角点位置，完成角点的匹配，得到检测到的物体边界框。

4、实例分割模块

使用特征提取网络得到的物体特征图和3得到的物体检测框作为输入，利用RoIAlign提取每个感兴趣区域的特征，然后利用多个卷积和反卷积层预测物体掩膜。

4

实验分析

1、在COCO test-dev上， CentripetalNet达到了anchor-free模型中的最优检测效果，同时在实例分割方面的表现也具有一定竞争力。

2、向心偏移相对于关联嵌入向量的优势

为了比较向心偏移和关联嵌入向量的性能，我们使用特征提取网络为Hourglass-52的CornerNet作为基准模型，然后将关联嵌入向量直接替换为向心偏移进行比较。为了公平起见，我们还将关联嵌入的向量增加为2维，这和向心偏移的维度一致，从下表可以看到，基于向心偏移的方法性能明显更优。

3、十字星可变形卷积的有效性

我们比较了十字星可变形卷积和其他特征调节方法的性能差异(包括普通可变形卷积以及RoIConv)

我们还比较了几种特征调节方法的采样点位置，发现只有十字星可变形卷积可以很好地采样到十字星上的特征信息。

4、和现有算法的可视化比较

下图三行从上至下分别是CornerNet，CenterNet和CentripetalNet

5、实例分割效果可视化

CVPR 2020 系列论文解读

AI 科技评论系列直播

1、ACL 2020 - 复旦大学系列解读

直播主题：不同粒度的抽取式文本摘要系统

回放链接：http://mooc.yanxishe.com/open/course/804 (回放时间：4月26日下午10点)

直播时间：4月 26 日，(周日晚) 20：00整。

直播主题：ACL 2020 | 基于对抗样本的依存句法模型鲁棒性分析

【ACL 2020 - 复旦大学系列解读之(三)】

直播时间：4月 27 日，(周一晚) 20：00整。

2、ICLR 2020 系列直播

直播主题：ICLR 2020丨Action Semantics Network: Considering the Effects of Actions in Multiagent Systems

主讲人：王维埙

回放链接：http://mooc.yanxishe.com/open/course/793

直播主题：ICLR 2020丨通过负采样从专家数据中学习自我纠正的策略和价值函数

主讲人：罗雨屏

回放链接：http://mooc.yanxishe.com/open/course/802

直播主题：ICLR 2020丨分段线性激活函数塑造了神经网络损失曲面

主讲人：何凤翔

回放链接：http://mooc.yanxishe.com/open/course/801

扫码关注[ AI研习社顶会小助手] 微信号，发送关键字“ICLR 2020+直播” 或 “ACL 2020+直播”，即可进相应直播群，观看直播和获取课程资料。