《PluckerNet: Learn to Register 3D Line Reconstructions》论文阅读

摘要

  在欧几里得空间中对齐两个部分重叠的3D线重建是具有挑战性的，因为我们需要同时解决线重建之间的对应关系和相对姿态。本文提出了一种基于神经网络的方法，它有三个依次相连的模块:(1)一个基于多层感知器(MLP)的网络，以线的Plucker线性表示为输入，提取有区别的线性特征和匹配性(每条线匹配的可能性有多大)，(2)一个最佳传输层，以两个视图的线性特征和匹配性为输入，估计一个2D联合概率矩阵，每个项目描述一个线对的匹配性， 和(3)具有最高K个匹配概率的线对被馈送到RANSAC框架中的双线最小解算器，以估计六自由度刚性变换。 在室内和室外数据集上的实验表明，该方法的配准(旋转和平移)精度明显优于基线。

介绍

  线包含环境的强结构几何信息(即使对于无纹理的室内场景)，并且广泛用于许多应用，例如SLAM，视觉伺服，位置识别和相机姿态估计。潜在的3D线可以从运动、SLAM或激光扫描的结构中获得。与3D点相比，由线表示的场景更完整，并且需要的存储量少得多。给定3D线重建，一个基本问题是如何配准它们。该技术可用于构建完整的三维地图、机器人定位、SLAM等。
  本文研究了欧氏空间中两个部分重叠的三维直线重建的对齐问题。这对于传统方法来说是不可行的，因为仅通过检查3D线坐标很难找到线匹配。人们需要手动设置线匹配或者假设线大部分位于平面和窗口上。借助深度神经网络，我们给出了一个基于学习的解决方案，称为PluckerNet。从线中学习并不简单，因为我们需要小心处理线参数化和几何。例如，由几何最近邻定义的局部结构是基于点的网络(例如，PointNet++ )中的核心组件。然而，对于基于线的网络，定义几何最近邻并不简单，因为没有一致同意的误差度量来比较线。我们使用一个确定性的6维椭圆表示来参数化一条3D线，其中一个3维方向向量位于一个3D单位半球上，一个3维力矩向量。为了捕捉局部线结构，对于每一条线，我们首先在方向和矩的子空间中提取局部特征，然后将它们组合起来得到全局高-弱线特征。为了使线状特征对匹配有区别性，我们使用了具有注意机制的图形神经网络，因为它可以结合考虑高度模糊特征嵌入关系的上下文线索。
  当我们处理部分到部分匹配问题时，线不一定要匹配。我们通过逐行回归先验匹配性来模拟给定行匹配且不是异常值的可能性。结合来自两条线重建的线状特征，我们能够在全局特征匹配模块中估计线对应性。该模块使用最佳传输来计算加权(联合概率)矩阵，其中每个元素描述特定源线与特定目标线的匹配性。按权重降序对线匹配进行排序会产生一个优先匹配列表，该列表可用于恢复源和目标线重建之间的6自由度相对姿态。
  找到线匹配后，我们开发了一个2线最小姿态解算器来求解欧氏空间中的相对姿态。我们进一步展示了如何在RANSAC框架内集成求解器，使用评分函数来区分内联体和外联体。
  我们的PluckerNet是端到端训练的。我们的贡献是:

1. 一种简单、直接和有效的基于学习的方法，用于估计在欧几里得空间中对齐两条线重建的刚性变换；
2. 深度神经网络从线中提取特征，同时考虑线的几何形状；
3. 基于最优传输理论的原始全局特征匹配网络寻找直线对应；
4. 一个2线最小解算器，配准欧氏空间中的三维线重建；
5. 我们提出了两个3D线配准基线(迭代封闭线和直接回归)，三个基准数据集建立在的基础上，并展示了我们方法的最新性能。