论文阅读-目标检测(2019)-CenterNet:目标检测转化为关键点检测及其属性回归

CenterNet

论文：Objects as Points

地址：https://paperswithcode.com/paper/objects-as-points

基本思想

  目标检测一般将图像中物体识别为一个平行坐标轴的框，目前多数的检测器都几乎穷举了图像中所有可能的目标位置然后对其进行分类，这种方式非常低效而且需要额外的后处理。论文提出的检测方法CenterNet则将目标视为单个的点——边界框的中心点，该检测器使用关键点估计来确定中心点，然后回归所有其他的属性，比如尺寸，3D位置，角度甚至是姿态，CenterNet是一个端到端，全程可微，高校简单又准确的检测器，不仅再2d目标检测上表现较好，也可用于3d检测以及人体姿态估计。

  CenterNet将目标检测问题转换为一个标准的关键点估计问题，首先将图像喂给一个全卷积网络产生热点图，图上的峰值点对应目标的中心，每个峰值点附近的图像特征来预测目标的宽高，模型训练的方法使用的是标准的密集任务有监督学习，推断则是完全端到端没有nms后处理的方法。

  CenterNet与基于Anchor的一阶段检测器类似，一个中心点可以被视为一个形状位置的Anchor，不同的是：

• CenterNet确定“anchor”只与位置相关，与框的重叠度无关；
• 每个目标只有一个正“anchor”因此不需要NMS；
• CenterNet输出的分辨率较大OS=4.

形式化

  令$I\in R^{W\times H\times 3}$表示宽高分别为$W,H$的输入图像，目标是预测一个关键点热力图$\hat{Y}\in [0,1{]}^{\frac{W}{R}\times \frac{H}{R}\times C}$，其中$R$表征输出的特征图尺寸，$C$表示关键点类型的数量（或者目标检测中的目标类别数），论文中$R=4$。在热力图中${\hat{Y}}_{x,y,c}=1$对应一个被检测到的关键点，${\hat{Y}}_{x,y,c}=0$表示背景。

训练目标

2D目标检测

  训练过程，对于每个类别为$c$的GT关键点$p\in R^2$，模型都会计算一个低分辨率的替换值$\tilde{p}=\lfloor \frac{p}{R}\rfloor$，然后使用一个高斯核函数$Y_{xyc}=exp\left(-\frac{(x-{\hat{p}}_x{)}^2+(y-{\hat{p}}_y{)}^2}{2{\sigma }_p^2}\right)$将所有的GT关键点赋予到一幅热力图$Y\in [0,1{]}^{\frac{W}{R}\times \frac{H}{R}\times C}$，如果同一类别的两个高斯生成点重叠，则以较大值为准，训练的目标损失函数如下：

$$L_k=\frac{-1}{N}{\Sigma }_{xyc}\{\begin{array}{ll}(1-{\hat{Y}}_{xyc}{)}^{\alpha }log({\hat{Y}}_{xyc})& if{Y}_{xyc=1}\\ (1-Y_{xyc}{)}^{\beta }({\hat{Y}}_{xyc}{)}^{\alpha }log(1-{\hat{Y}}_{xyc})& otherwise\end{array}$$

  其中$\alpha ,\beta$是focal loss的超参数，论文中$\alpha =2,\beta =4$，$N$表示图像$I$中关键点的数量，除以$N$是为了对所有的正损失归一化。

  为了消除由于OS带来的离散误差，论文为每个中心点额外预测了一个偏移量$\hat{O}\in R^{\frac{W}{R}\times \frac{H}{R}\times 2}$，所有的类别$c$共享同一个偏移与测量，这里使用如下所示L1损失函数：

$$L_{off}=\frac{1}{N}{\Sigma }_p\left|{\hat{O}}_{\hat{p}}-\left(\frac{p}{R}-\hat{p}\right)\right|$$

  此监督旨在关键点位置$\hat{p}$起作用。

  令$(x_1^{(k)},y_1^{(k)},x_2^{(k)},y_2^{(k)})$表示目标类别为$c_k$的目标$k$的边界框，其中心点$p_k=(\frac{x_1^{(k)}+x_2^{(k)}}{2},\frac{y_1^{(k)}+y_2^{(k)}}{2})$，使用关键点估计$\hat{Y}$来预测所有的中心点，另外，为每个目标$k$进行尺寸$s_k=(x_2^{(k)}-x_1^{(k)},y_2^{(k)}-x_1^{(k)})$的回归，使用L1损失来指导训练：

$$L_{size}=\frac{1}{N}{\Sigma }_{k=1}^N\left|{\hat{S}}_{p_k}-s_k\right|$$

  最终检测损失如下，其中${\lambda }_{size}=0.1,{\lambda }_{off}=1$：

$$L_{det}=L_k+{\lambda }_{size}{L}_{size}+{\lambda }_{off}{L}_{off}$$

  最终论文实现了一个单一网络来预测关键点、偏移量和尺寸，每个位置对应$C+4$个模型输出。

  在推理过程中，首先提为每个类别单独的从热力图中提取峰值点，方法是检测3邻域中的最大值，令${\hat{P}}_c$表示$n$个被检测到的类别为$c$的中心点 P ^ = { ( x ^ i , y ^ i ) } i = 1 n \hat P=\{(\hat x_i,\hat y_i)\}_{i=1}^n P^={(x^i​,y^​i​)}i=1n​的集合，每个关键点的位置坐标由$(x_i,y_i)$给出，使用关键点的值${\hat{Y}}_{x_i{y}_{i}c}$作为检测的置信度然后在该位置产生一个边界框：

$$\begin{gathered} ({\hat{x}}_i+\delta {\hat{x}}_i-{\hat{\omega }}_i/2,{\hat{y}}_i+\delta {\hat{y}}_i-{\hat{h}}_i/2, \\ {\hat{x}}_i+\delta {\hat{x}}_i+{\hat{\omega }}_i/2,{\hat{y}}_i+\delta {\hat{y}}_i+{\hat{h}}_i/2) \end{gathered}$$

  其中$(\delta {\hat{x}}_i,\delta {\hat{y}}_i)={\hat{O}}_{{\hat{x}}_i,{\hat{y}}_i}$是偏移预测量，$({\hat{\omega }}_i,{\hat{h}}_i)={\hat{S}}_{{\hat{x}}_i,{\hat{y}}_i}$是尺寸与测量，其中峰值点提取可以使用一个$3\times 3$最大池化，不再需要NMS后处理。

单目3D目标检测

  对于单目3D物体检测，其为每个目标输出一个三维的边界框，也就是说对于每个中心点需要输出三个额外的属性即：深度、3D尺寸和偏向角，论文为每一个输出都设计了一个单独的head。深度$d$对于每个中心点来说是一个单独的所放量，但是深度比较难以直接回归，论文使用将深度作为一个额外的输出通道$\hat{D}\in [0,1{]}^{\frac{W}{R}\times \frac{H}{R}}$来计算，这里也使用L1损失，其中$d_k$是GT绝对深度，具体地：

$$L_{dep}=\frac{1}{N}{\Sigma }_{k=1}^N|\frac{1}{\sigma ({\hat{d}}_k)}-1-d_k|$$

  目标的3D尺寸是三个参数，可以直接使用一个单独的head$\hat{\Gamma }\in R^{\frac{W}{R}\times \frac{H}{R}\times 3}$和L1损失来进行回归，其中${\gamma }_k$表示目标的GT长宽高，具体地：

$$L_{d}im=\frac{1}{N}{\Sigma }_{k=1}^N|{\hat{\gamma }}_k-{\gamma }_k|$$

  最后偏向角则是一个单独的参数，很难直接回归，论文具体的方式是使用8个参数来编码偏向角，8个参数分为两组，用于两个有角度的bin。其中一个bin用于角度在$B_1=[-\frac{7\pi }{6},\frac{\pi }{6}]$范围内，另一个bin则对应角度在$B_2=[-\frac{\pi }{6},\frac{7\pi }{6}]$。对于每个bin，其中两个参数$b_i\in R^2$用于softmax分类（如果朝向叫落在这个bin），另外两个参数$a_i\in R^2$用于预测bin内的正弦与余弦偏移（相对于bin中心$m_i$），令GT朝向角$\hat{\alpha }=[{\hat{b}}_1,{\hat{a}}_1,{\hat{b}}_2,{\hat{a}}_2]$，L1损失具体为：

$$L_{ori}=\frac{1}{N}\sum _{k=1}^N\sum _{i=1}^2(softmax({\hat{b}}_i,c_i)+c_i|{\hat{a}}_i-a_i|)$$

  其中当$\theta \in B_i$时$c_i=1$，其余$c_i=0$，$a_i=(sin(\theta -m_i),cos(\theta -m_i))$，最终预测的$\theta$通过8个参数来编码，其中$j$表示bin的索引：

$$\hat{\theta }=arctan2({\hat{a}}_{j1},{\hat{a}}_{j2}+m_j)$$

人体姿态估计

  对于人体姿态估计，其目标是为每个人实例估计$k$个2D人体连接点，考虑对于每个中心点姿态为$k\times 2$维属性，然后将其参数化为对于中心点的一个偏移，从而直接使用L1损失回归连接点$\hat{J}\in R^{\frac{W}{R}\times \frac{H}{R}\times k\times 2}$。为了更好的输出关键点，论文还会使用一个标准的自底向上的多人体姿态估计来预测$k$个人体关键点热力图$\hat{\Phi }\in R^{\frac{W}{R}\times \frac{H}{R}\times k}$。

结论

  总的来说，论文提出的方法不需要后处理，易于扩展可丝滑应用于多种视觉任务，效率高精度好，实现了较好的速度精度均衡。

---

欢迎扫描二维码关注微信公众号 深度学习与数学 ，每天获取免费的大数据、AI等相关的学习资源、经典和最新的深度学习相关的论文研读，算法和其他互联网技能的学习，概率论、线性代数等高等数学知识的回顾。