Local Feature Detection and Description

SuperPoint: Self-supervise Interest Point Detection and Description

Abstract

作者考虑基于卷积神经网络相比于手工设计的方式具有更好的特征表示能力。但由于图像局部兴趣点没有明确的定义，因此缺乏数据集来训练局部特征点检测的卷积神经网络。基于此问题，作者提出自监督方式来生成伪数据集，并构建局部特征点检测和特征描述子双分支网络进行训练。得到的模型能够比其他传统的角点检测器检测出更丰富的兴趣点集。 与LIFT，SIFT和ORB相比，模型在HPatches产生了最优的单应性估计结果。

MagicPoint

利用简单几何图像的关键点易于提取且定义较为明确的特点来构造简单数据集，并基于此训练简单几何图像兴趣点检测模型MagicPoint。

Homographic Adaptation

作者利用MS-COCO数据集和上述训练的MagicPoint模型，并结合其提出的Homographic Adaptation机制来获取MS-COCO数据集图像兴趣点的 pseudo-ground truth。以此得到的数据集来训练后来的SuperPoint模型。

Iterative Homographic Adaptation

这一部分存在一定的缺陷，作者只是简单叙述了利用Homographic Adaptation可以重复进行自我监督进而提升效果，并给出上图做展示。但并未详细叙述迭代会什么为增加检测性能，可提升的瓶颈又在哪里？如何合理解释？

SuperPoint

在有训练集的前提上，作者提出上图双分支网络，训练时采用图像对的方式来约束兴趣点描述子的相似性。

Experiment

D2-Net: A Trainable CNN for Joint Description and Detection of Local Features

Abstract

作者通过卷积神经网络，在同一Feature Map上同时进行兴趣点的检测和描述子的提取。由于兴趣点的检测利用的高层语义信息，对图像的变化鲁棒性较高，因此该算法能够一定程度上解决在复杂条件下寻找可靠的像素级图像匹配的问题。如下图所示：

Joint Detection and Description Pipeline

如上图所示，作者在同一Feature Map$D$上，以通道维向量作为对应像素点的特征描述子；兴趣点的检测类似于SIFT中的局部最大值获取。详见下公式：
$$\begin{array}{rl}{\alpha }_{ij}^k& =\frac{exp(D_{ij}^k)}{{\sum }_{(i^{\prime },j^{\prime })\in (i,j)}exp(D_{i^{\prime }{j}^{\prime }}^k)}\\ {\beta }_{ij}^k& =D_{ij}^k/\underset{t}{\max }{D}_{ij}^t\\ {\gamma }_{ij}& =\underset{t}{\max }({\alpha }_{ij}^k{\beta }_{ij}^k)\\ s_{ij}& ={\gamma }_{ij}/\sum _{i^{\prime }{j}^{\prime }}{\gamma }_{i^{\prime }{j}^{\prime }}\end{array}$$

Criterion

Experiment

ASLFeat: Learning Local Features of Accurate Shape and Localization

Abstract

本工作的重点在于解决两个问题：

• 对特征点局部形状的准确预测，有助于特征点获得更好的几何不变形
• 关键点的准确定位，有利于提升具体应用的性能，如3D重建
  基于以上问题，作者基于D2-Net，经过简单有效的改进获得ASLFeat模型。具体的，作者利用Deformable convolutional network(DCN)网络自学习局部形状的预测；同时，作者通过多级特征融合的方式获得与输入图片分辨率相同的特征图，通过与低级特征图的融合保留特征点的准确位置信息；最后作者提出一个Peakiness measurement来度量特征点检测响应。网络结构如下图所示：
  

Experiment