《SuperPoint: Self-Supervised Interest Point Detection and Description》论文笔记

SuperPoint: Self-Supervised Interest Point Detection and Description

摘要

  本文提出了一种自我监督的框架，用于训练感兴趣点检测器和描述符，适用于计算机视觉中的大量多视图几何问题。与基于补丁的神经网络相反，我们的完全卷积模型在全尺寸图像上运行，并在一个正向通道中联合计算像素级兴趣点位置和相关描述符。我们介绍了Homographic Adaptation，这是一种多尺度，多种多样的方法，用于提高兴趣点检测的可重复性和执行跨域自适应（例如，合成到实际）。我们的模型在使用Homographic Adaptation对MS-COCO通用图像数据集进行训练时，能够重复检测比初始预适应深度模型和任何其他传统角点检测器更丰富的兴趣点集。与LIFT，SIFT和ORB相比，最终系统在HPatches上产生了最先进的单应性估计结果。

1. 介绍

  几何计算机视觉任务的第一步是从图像中提取感兴趣点，例如同步定位和映射(SLAM)、运动结构(SFM)、摄像机标定和图像匹配。兴趣点是图像中的2D位置，其从不同的照明条件和视点是稳定和可重复的。然而，大多数真实世界计算机视觉系统的输入都是原始图像，而不是理想化的点位置.
  本文提出了一种基于自我训练的自我监督解决方案，而不是利用人工监督来定义确定真实图像中的兴趣点。在我们的方法中，我们在真实图像中创建一个大的伪地面真实兴趣点位置数据集，由兴趣点检测器本身监督，而不是大规模的人类注释努力。

  为了生成伪地真实兴趣点，我们首先在我们创建的称为合成形状的合成数据集的数百万个示例中训练一个完全卷积神经网络（参见图2a）。我们称之为训练有素的探测器MagicPoint，然而，当与各种图像纹理和图案集上的经典兴趣点检测器相比时，MagicPoint错过了许多潜在的兴趣点位置。为了弥合真实图像上的性能差距，我们开发了一种多尺度，多变换技术 - Homographic Adaptation
  Homographic Adaptation是为了使兴趣点检测器的自监督训练成为可能。它多次扭曲输入图像以帮助兴趣点检测器从许多不同的角度和尺度看到场景(参见第5节)。我们使用Homographic Adaptation结合魔点检测器来提高检测器的性能，并生成伪地面真相感兴趣点(见图2b)。由此产生的检测结果在更大范围的刺激上更容易重复和激发，因此我们命名了由此产生的检测器超点。
  在检测出鲁棒性和可重复感兴趣点之后，最常见的步骤是在每个点上附加一个固定的维描述符向量&