hourglass论文_[论文笔记] CornerNet

[论文笔记] CornerNet: Detecting Objects as Paired Keypoints

说在前面

个人心得：

1. 这种anchor-free的方法借鉴了多人姿态估计领域的策略

2. 角点建模 + corner pooling + HourGlass Network + Focal Loss variant

3. 其实ResNet + FPN + Corner还是被RetinaNet完爆的，backbone上hourglass还是有功的

ECCV 2018，原文链接：http://arxiv.org/abs/1808.01244

基于PyTorch，官方开源代码：https://github.com/princeton-vl/CornerNet

本文作于2020年7月15日。

摘要

We propose CornerNet, a new approach to object detection where we detect an object bounding box as a pair of keypoints, the top-left corner and the bottom-right corner, using a single convolution neural network.

我们提出了CornerNet，这是一种用于对象检测的新方法，其中我们使用单个卷积神经网络将对象边界框检测为一对左上角和右下角的关键点。

By detecting objects as paired keypoints, we eliminate the need for designing a set of anchor boxes commonly used in prior single-stage detectors. In addition to our novel formulation, we introduce corner pooling, a new type of pooling layer that helps the network better localize corners.

通过将对象检测建模为成对的关键点，我们无需设计通常用于现有one-stage检测器的一组锚(anchor)。除了我们新颖的表述之外，我们还介绍了corner pooling，这是一种新型的池化层，可帮助网络更好地定位corner。

1. 引言

基于卷积神经网络(ConvNets)的物体检测器已经在各种具有挑战性的基准上取得了最新的成果。最先进的方法的一个常见组成部分是锚，它是各种大小和纵横比的框，可用作检测候选对象。锚广泛用于one-stage检测器中，可以在提高效率的同时获得与two-stage检测器相近的性能。One-stage检测器将锚密集地放置在图像上，并通过对锚评分并通过回归完善其坐标来生成最终的框预测。

但是锚的使用有两个缺点。首先，

我们通常需要大量锚框，例如 在DSSD中超过40k，在RetinaNet中超过10万。这是因为训练检测器以对每个锚是否与真实注释框充分重叠进行分类，并且需要大量锚定框以确保与大多数真实注释框充分重叠。结果，只有一小部分的锚会与真实注释框重叠；这会在正负锚框之间造成巨大的不平衡，并减慢训练速度。

其次，

锚的使用引入了许多超参数和设计选择。这些包括多少个锚，什么大小和什么长宽比比。这些选择很大程度上是通过临时启发式方法做出的，当与多尺度体系结构结合使用时可能变得更加复杂，在这种体系结构中，单个网络以多种分辨率进行单独的预测，每种尺度使用不同的功能和自己的锚框集。

在本文中，我们介绍了CornerNet，这是一种新的one-stage对象检测方法，可以消除锚框(anchor-free)。我们将一个对象检测为一对关键点，边界框的左上角和右下角。我们使用单个卷积网络来预测同一对象类别的所有实例的左上角的heatmap，所有右下角的heatmap以及每个检测到的角的嵌入矢量。嵌入用于对属于同一对象的一对角进行分组，网络经过训练可以为它们预测相似的嵌入。我们的方法极大地简化了网络的输出，并消除了设计锚框的需要。我们的方法是受Newell等人提出的关联嵌入方法的启发，他们在多人人体姿势估计的背景下检测和分组关键点。下图说明了我们方法的总体流程。

CornerNet的另一个新颖组件是corner pooling，corner pooling是一种新型的池化层，可帮助卷积网络更好地定位边界框的角。边界框的角通常位于对象的外部，请考虑圆形的情况以及下图中的示例。在这种情况下，无法根据对象的信息确定角的位置。