CornerNet: Detecting Objects as Paired Keypoints 阅读笔记

介绍

• anchor-based的方法需要大量anchor boxes来确保anchor boxes与GT box有足够的重叠，从而减慢了训练速度。
• anchor box的使用引入了许多超参数，包括box的尺寸和高宽比。
• CornerNet: 使用一个单一的卷积神经网络，将物体的边界框检测为一对关键点，即左上角和右下角。通过将物体检测为成对的关键点，消除了设计一组bounding boxes的需要。

方法

CornerNet: 将一个物体检测为一对关键点–bounding box的左上角和右下角。使用一个单一的卷积网络来预测同一物体类别的所有实例的左上角的热图，所有右下角的热图，以及每个检测到的角的嵌入向量。嵌入的作用是将属于同一物体的一对角分组–网络被训练来预测它们的类似嵌入。


corner pooling layer: 接收两个特征图；在每个像素位置，它从第一个特征图向右最大集合所有特征向量，从第二个特征图直接向下最大集合所有特征向量，然后将两个集合的结果加在一起。

模型

图4：使用Hourglass作为backbone，之后是两个预测模块，在预测热图、嵌入和偏移之前，从Hourglass中汇集特征。与其他许多物体检测器不同，不使用不同尺度的特征来检测不同尺寸的物体，只对沙漏网络的输出应用这两个模块。


公式1：focal loss

公式2：预测的位置偏移

公式3：训练损失

公式4：对corners进行分组
公式5：分离corners


预测模块：第一部分是残差块，之后用一个corner pooling模块取代了第一个三维卷积模块。

使用Adam来优化总损失。

实验