SuperPoint:Self-Supervised Interest Point Detection and Description
论文链接:CVPR 2018 Open Access Repository
1.Introdction
研究背景:
1.提取特征点是许多视觉任务的第一步,例如SLAM、SfM、相机校准以及图像匹配等。
2.卷积神经网络在图像作为输入的任务上表现优越。
3.训练基于强监督的卷积神经网络来检测特征点很难。
研究方法:
1.提出了一种自监督方法,通过特征点检测器它自己来监督,创造一个真实图片的特征点的伪基准标准(ground truth)的数据集。
2.首先在一个合成数据集上(“Synthetic Shapes” )训练一个卷积神经网络(fully-CNN),得到检测器(MagicPoint).MagicPoint在合成数据集上表现不错,但是在不同纹理和图案集上的表现不如经典检测器,因此本文又提出了Homographic Adaptation。
3.Homographic Adaptation扭曲图像,和MagicPoint一起训练来提升它的表现,生成伪基准特征点。最终训练出来的检测器叫做SuperPoint。
4.将SuperPoint和描述器子网络结合,生成特征点的描述子。
2.Related Work
第一个基于机器学习的特征点检测器:“The FAST corner detector [21]”
最著名的传统方法:“SIFT [15]”
与本文方法相似:“UCN [3]” 、“DeepDesc [6];” 。
基于卷积神经网络与传统方法相似,需要SfM系统的监督:“LIFT [32],”
无监督、patch-based、浅层神经网络(2 layers):“QuadNetworks [23]”
与Homographic Adaptation原理类似:“TILDE [29]”
“synthetic-to-real domain-adaptation methods” ,缺乏特征点检测和点对应关系:
与Homographic Adaptation相似:“Honari et al. [10] under the name “equivariant landmark transform.””
用相似的自监督策略生成训练数据:“Geometric Matching Networks [20] and Deep Image Homography Estimation [4]”
3.SuperPoint Architechture
输入一整张图片,通过共享编码器编码来降低输入图像的维度;然后通过两个并行的解码器来得到特征点和特征描述子。
3.1.Shared Encoder
用“VGG-style [27] encoder” 降低输入图片的维度,增加通道数。
3.2.Interest Point Decoder
设计了一个带有显示解码器(没有参数)的特征点检测头来减少模型对计算资源的消耗。
3.3.Descriptor Decoder
首先,用一个类似“UCN [3]” 的模型生成特征描述子的版稠密网格,以减少训练时间。然后通过双三次插值和L2正则化来得到描述子。
3.4.Loss Functions
损失:
特征点检测损失:
描述子损失:
4.Synthetic Pre-Training
训练一个基础检测器MagicPoint
4.1.Synthetic Shapes
由于没有现存的大的标注好的特征点图片数据集,本文首先设计了一个大规模合成数据集叫做“Synthetic Shapes” 。
4.2.MagicPoint
本文使用SuperPoint检测器的结构(除描述子头)在Synthetic Shapes上训练,得到MagicPoint。
MagicPoint在Synthetic Shapes上表现很好;真实图像上表现也不错,尤其是有强棱角的结构上;但是在自然图像上表现得不如传统检测器。于是,本文继续提出了一个在真实图像上进行训练的基于自监督的Homographic Adaptation模型。
5.Homographic Adaptation
该系统通过基础特征点检测器和未标注的图片来自引导训练。该方法的核心步骤(homographic adaptation)是通过random homographies来扭曲输入图像的副本然后组合所有的结果。
5.1.Formulation
假设covariant:
实际上,检测器不是perfectly covariant:
5.2.Choosing Homographies
超参数Nh、Ns 的设置:
8.Conclusion
本文设计了一个自监督的框架Homographic Adaptation,基于此提出了fully-CNN架构用来做特征点检测和描述训练。
实验证明:
1.将合成的数据集的知识转移到真实图片上是有可能的。
2.单个、有效的CNN可以用来进行稀疏特征点的检测和描述。
3.该系统的结果可以很好的运用到几何计算机视觉匹配任务上,例如Homographic Estimation。
未来工作:
1.研究Homographic Adaptation是否可以提升语义分割、目标检测等任务的表现。
2.研究特征点检测和描述子生成能否互相受益。
应用场景:SLAM、SfM。