摘要
我们介绍了“捕食者”,一种高度关注重叠区域的成对点云配准模型。不同于以往的工作,我们的模型是专门设计来处理(也)低重叠点云对。它的主要创新点是一个重叠注意块,用于两点云的潜在编码之间的早期信息交换。通过这种方式,随后将潜在表示解码为逐点特征取决于相应的其他点云,从而可以预测哪些点不仅显著,而且位于两个点云之间的重叠区域。关注于点的能力与显著提升配对性能相关:“捕食者”提升了在低重叠情况下成功配准率超过20%,同时也为3DMatch基准设定了新的技术水平,配准召回率达到89%。源码和预训练模型公开在https://github.com/ShengyuH/OverlapPredator。
介绍
相关的工作在全自动、基于3D特征的点云配准方面取得了大量的成果。乍一看,像3DMatch这样的基准出现了饱和,其中大量最新技术(SOTA)的方法达到接近95%的特征匹配召回率并成功配准>80%的所有扫描对。一个可能会有的印象是配准问题已经解决了,但事实上并不是这样。我们认为高成功率是宽大的评估协议的结果。我们一直将我们的任务制定得太简单:现有文献和基准只考虑重叠≥30%的点云对来衡量性能。然而,低重叠区域对于实际应用非常重要。在一方面,保证高重叠可能很困难,比如当沿着狭窄的走廊移动,或者当在有遮挡的情况下闭合环路(密集的建筑区域、森林等)。在另一方面,数据获取通常代价很高,所以从业者希望扫描次数少一点,只保留必要的重叠。
由于评价协议的驱动,高重叠的情况成为研究的重点,而更困难的低重叠的例子很大程度上被忽视(如Fig 1)。结果是,即使是最著名的配准方法的性能当在两个点云之间的重叠区域低于30%时迅速衰减,见Fig 2。人类操作者,相反的,仍然能够不费太多力的将这样低重叠的点云配准。
这种差异是目前工作的出发点。为了学习它的原因,我们从流行的3DMatch基准的场景中建造了一个低重叠的数据集3DLoMatch,并且分析了配准过程的各个模块\步骤。结果显示现代(全卷积)特征点描述子的有效感受野是足够局部的,而且描述子很难被扫描的非重叠部分破坏。配准低重叠点云的关键是学习在何处能找到特征点(Fig 2,右边),而不是提出一个另一种方式来学习更好的描述子。如果特征点主要在扫描场景的重合部分被采样,那么会有一个大的性能的提升。
我们按照这种方式并介绍了“捕食者”,一种为了成对的3D点云配准的神经结构,可以学习(隐性地)去检测两个没有配准的扫描场景的重合区域,并学习当在提取突出特征点时集中在那个区域。我们工作的主要贡献有:
- 解释分析为什么现存的配准框架在低重叠情况下性能下降
- 一个新颖的重叠注意块,可以允许两个点云之间早期的信息交换,并集中注意在重叠区域的随后的步骤
- 一种细化特征点描述子的方案,通过将它们也调整到相应的其他点云上
- 提出了一种新的损失函数来训练匹配性得分,有助于更好地抽取可重复的兴趣点
此外,我们还提供了3DLoMatch数据集,该数据集包含以前忽略的3DMatch扫描对,这些扫描对的重叠率很低(10-30%)。在我们的实验中,“捕食者”PREDATOR在低重叠区域的性能大大优于现有的方法,提高了10%以上的配准召回率。它还为传统的3DMatch基准设定了新的技术水平,达到了89%的配准召回率。