（三）论文阅读 | 目标检测之CenterNet-Points

最新推荐文章于 2023-09-14 20:30:47 发布

zhangts20

最新推荐文章于 2023-09-14 20:30:47 发布

阅读量766

点赞数

分类专栏：论文阅读文章标签：计算机视觉人工智能

本文链接：https://blog.csdn.net/Skies_/article/details/104359917

版权

论文阅读专栏收录该内容

54 篇文章 33 订阅

订阅专栏

简介

在这里插入图片描述

图1：论文原文

论文是 ${\rm 2019}$ 年的一篇 ${\rm Anchor}$ - ${\rm Free}$ 目标检测算法。前面介绍的 ${\rm CornerNet}$ 通过检测左上角关键点和右下角关键点完成目标检测； ${\rm CenterNet}$ 在前者的基础上，额外检测一个中心关键点用于辅助检测流程。而本文介绍的 ${\rm CenterNet}$ 仅通过检测目标的中心关键点就能完成检测流程。在原论文中， ${\rm CenterNet}$ 可以轻易迁移到 ${\rm 3D}$ 目标检测和人体姿态估计中，而本文只介绍其用于 ${\rm 2D}$ 目标检测。在 ${\rm MS\ COCO}$ 数据集上的实验结果为 ${\rm AP28.1\%\ 142FPS}$ 、 ${\rm AP37.4\%\ 52FPS}$ 、 ${\rm AP45.1\%\ 1.4FPS}$ 。论文原文源码

0. Abstract

论文指出大多数检测算法的做法是产生大量对目标位置的预测，但这类做法耗时低效且需要后处理。与前面介绍的 ${\rm CornerNet}$ 类似，论文提出将目标检测转化为检测关键点，且仅依靠检测边界框的中心点就能确定最终的检测结果。

论文贡献：（一）提出一种新的 ${\rm Anchor}$ - ${\rm Free}$ 目标检测方法；（二）论文方法可轻易迁移至 ${\rm 3D}$ 目标检测和人体姿态估计等相关检测任务。

1. Introduction

当前大多数目标检测方法首先产生大量建议框，然后判别每个框内是否含有目标。然而，由于这类算法需要产生所有可能的建议框而常常需要大量冗余的计算，进而影响了算法的精度和实时性。
在这里插入图片描述

图2：CenterNet使用一个中心点表征物体

论文提出了一种简单和高效的方法：如上图，使用边界框的中心点表示物体。将图像输入到一个全卷积网络得到一个热图，这个热图的峰值对应于目标的中心点，峰值周围的图像特征用于预测边界框的高和宽。在推理阶段， ${\rm CenterNet}$ 使用单个网络进行前向传播，无需 ${\rm NMS}$ 等后处理。 ${\rm CenterNet}$ 与其他检测算法的实验对比见下图：
在这里插入图片描述

图3：CenterNet实验结果对比

2. Related Work

${\rm CenterNet}$ 方法同 ${\rm Anchor}$ - ${\rm Based}$ 的一阶段方法相关，一个中心点可以看做是单个形状不定的 ${\rm Anchor}$ 。但也存在不同之处： $(1)$ ${\rm CenterNet}$ 仅根据位置来分配 ${\rm Anchor}$ ，没有手动设置的用于前景和背景分类的阈值； $(2)$ ${\rm CenterNet}$ 仅含有一个正类 ${\rm Anchor}$ ，不需要 ${\rm NMS}$ 后处理； $(3)$ ${\rm CenterNet}$ 使用较大分辨率的输出，避免使用多重 ${\rm Anchor}$ 。
在这里插入图片描述

图4：Anchor-Based方法同CenterNet的区别

图 $(4)$ 的左半部分是 ${\rm Anchor}$ - ${\rm Based}$ 的目标检测算法，当候选框同真实框的交并比大于 ${\rm 0.7}$ 时则视该候选框为正样本；否则为负样本。右半部分是 ${\rm CenterNet}$ 的做法，通过预测目标的中心直接回归目标的具体位置。

3. Preliminary

首先定义几个相关变量。 $I$ 表示宽为 $W$ ，高为 $H$ 的输入图形； ${\rm CenterNet}$ 基于输入产生关键点热图 $\hat{Y}$ ， $R$ 表示输出的步长(下采样的倍数)， $C$ 是关键点的类别数； $\hat{Y}=1$ 表示检测的关键点， $\hat{Y}=0$ 表示背景。注意： $I\in R^{W×H×3}$ ， $\hat{Y}\in[0,1]^{W/R×H/R×3}$ 。

对于类别为 $c$ 的标注关键点 $p$ ，计算其在下采样图中为 $\tilde{p}$ 。然后使用高斯核 $Y_{xyc}$ 将所有标注关键点分散到一个热图 $Y$ 上， $σ^2$ 表示标准差。如果同一类别的两个高斯计算结果相同，取较大值。注意： $p\in \mathcal{R}^2$ ， $\tilde{p}=\lfloor p/R\rfloor$ ， $Y_{xyc}={\rm exp}(-(x-\tilde{p}_x)^2+(y-\tilde{p}_y)^2/2σ^2_p)$ ， $Y\in[0,1]^{W/R×H/R×c}$ 。由此得到第一部分损失函数 $L_k$ ：
$L_k =\frac{-1}{N}\sum\limits_{xyc}\left\{ \begin{aligned} &(1-\hat{Y}_{xyc})^α{\rm log}(\hat{Y}_{xyc})&if\ \ Y_{xyc}=1\\ &(1-Y_{xyc})^β(\hat{Y}_{xyc})^α{\rm log}(1-\hat{Y}_{xyc})&otherwise \end{aligned} \right.\tag{1}$

同时预测一个偏移 $\hat{O}$ 处理下采样后的图像中的关键点映射回原图所产生误差，由此得到第二部分损失函数 $L_{off}$ ：
$L_{off} =\frac{1}{N}\sum\limits_{p}|\hat{O}_{\tilde{p}}-(\frac{p}{R}-\tilde{p})| \tag{2}$

注意： $\hat{O}∈R^{W/R×H/R×2}$ ， $L_{off}$ 的计算只针对正样本。

4. Objects as Points

首先定义几个相关变量。 $x_1^{(k)}，y_1^{(k)}，x_2^{(k)}，y_2^{(k)})$ 表示类别为 $c_k$ 的目标 $k$ 的边界框，则其中心点的坐标为 $p_k=((x_1^{(k)}+x_2^{(k)})/2,$ $y_1^{(k)}+y_2^{(k)}))/2)$ 。使用前面定义的热图 $\hat{Y}$ 来预测所有的中心点。此外，对于每个目标 $k$ ，回归边界框的宽高 $s_k=(x_2^{(k)}-x_1^{(k)},y_2^{(k)}-y_1^{(k)})$ 。同时，为了减少计算量，对每个类别使用同样的宽高预测 $\hat{S}$ 。由此得到第三部分损失函数 $L_{size}$ ：
$L_{size} =\frac{1}{N}\sum\limits_{k=1}^{N} |\hat{S}_{p_k}-s_k| \tag{3}$

注意， $\hat{S}∈R^{W/R×H/R×2}$ 。则总的损失函数 $L_{det}$ 定义为：
$L_{det} =L_k+λ_{size}L_{size}+λ_{off}L_{off} \tag{4}$

网络同时预测关键点热图 $\hat{Y}$ 、位置偏移 $\hat{O}$ 、宽高预测 $\hat{S}$ ，在每个像素点位置得到 $C + 4$ 个输出。
在这里插入图片描述

图5：CenterNet用于目标检测

$C + 4$ 对应于上图中的三幅图，第一幅图中为 $C$ 表示类别、第二幅图中为 $2$ 表示中心点的偏移、第三幅图中为 $2$ 表示预测的宽高。

如何使用中心点生成边界框？在推理阶段，独立地提取每个类别热图的峰值，判断峰值是否大于或等于其 $8$ -领域的值，最后保留前 $100$ 个峰值。 $\hat{\mathcal{P}}_c$ 表示类别 $c$ 得到的 $n$ 个检测点，每个关键点的坐标为 $x_i, y_i)$ ， $\hat{Y}_{x_iy_ic}$ 为其置信度。得到边界框(左上角坐标和右下角坐标)：
$(\hat{x}_i+δ\hat{x}_i-\hat{w}_i/2，\hat{y}_i+δ\hat{y}_i-\hat{h}_i/2)$

$(\hat{x}_i+δ\hat{x}_i+\hat{w}_i/2，\hat{y}_i+δ\hat{y}_i+\hat{h}_i/2)$

其中 $\hat{\mathcal{P}}_c=\{(\hat{x_i}，\hat{y_i})\}_{i=1}^n$ ， $(δ\hat{x_i},δ\hat{y_i})=\hat{O}_{\hat{x_i},\hat{y_i}}$ 为预测的偏移， $(\hat{w}_i,\hat{h}_i)=\hat{S}_{\hat{x}_i,\hat{y}_i}$ 为预测的宽高。

5. Implementation Details

论文使用四种 ${\rm Backbone}$ 做实验：
在这里插入图片描述

图6：不同Backbone的对比

6. Experiments

在这里插入图片描述

图7：实验结果对比

7. Conclusion

论文提出了一种新的用中心点表示目标的方法。 ${\rm CenterNet}$ 检测目标的中心，然后回归宽高；算法简单高效，不需要任何 ${\rm NMS}$ 等后处理。由于 ${\rm CenterNet}$ 的简单高效性，其稍加改动就可以将其应用于 ${\rm 3D}$ 目标检测和人体姿态估计，笔者认为这是当前目标检测算法应该具有的特性。这是因为 ${\rm 3D}$ 目标检测和人体姿态估计等都是基于目标检测任务的。