CenterNet 论文笔记

前言

本文提出了一种目标表示的新方法——通过bbox的中心点来表示目标，如下图所示。然后通过中心点处的图像特征回归到目标的其它属性，比如目标大小、维度、方向和姿态。这样就把目标检测问题变为关键点估计问题。

将输入图像送入一个全卷积网络后，会生成一个heatmap，在heatmap上出现的peak就是目标的中心点，每个peak的图像特征预测出目标的bbox的高和宽。模型训练采用标准的监督学习，inference是单个前向传播网络，没有任何NMS操作。

使用中心点表示目标实现目标检测，只经过很小的改动就能扩展到其他任务上。对于3D bbox检测来说，还要回归目标的绝对深度、3D bbox的维度和目标的方向；对于人姿态估计来说，将关节点（2D joint）位置作为中心点的offset，直接在中心点位置回归出这些offset。

从下图可以看出，在实时检测中，CenterNet的速度和精度都更好一点。

---

准备工作

设输入图像为$I\in R^{W\times H\times 3}$，其中$W$和$H$分别是宽和高。接下来的目标是要产生关键点的热点图（keypoint heatmap），$\hat{Y}\in [0,1{]}^{\frac{W}{R}\times \frac{H}{R}\times C}$，其中$R$是输出对应原图步长，即对原图进行$R$倍的下采样，这里$R=4$，$C$是关键点的类型数量。${\hat{Y}}_{x,y,c}=1$表示可以检测到目标的关键点，也就是说对于类别$c$，在点$(x,y)$处检测到的目标属于类别$c$；而${\hat{Y}}_{x,y,c}=0$表示背景，即当前这个点$(x,y)$处不存在属于类别$c$的目标。

作者根据CornerNet的方法来训练关键点预测网络。对于属于类$c$的每个真实关键点（gt keypoint） $p\in R^2$，计算得到低分辨率（经过下采样）上对应的关键点为$\tilde{p}=\lfloor R$