【论文笔记】Monocular Camera Localization in Prior LiDAR Maps with 2D-3D Line Correspondences

【论文笔记】Monocular Camera Localization in Prior LiDAR Maps with 2D-3D Line Correspondences

    ~~~          ~~~~     现有地图中的轻量级相机定位对于基于视觉的导航至关重要。目前，视觉和视觉惯性里程计 (VO&VIO) 技术在状态估计方面得到了很好的发展，但在闭环时不可避免地存在累积漂移和姿势跳跃。为了克服这些问题，我们在先前的 LiDAR 地图中使用直接 2D-3D 线对应提出了一种有效的单目相机定位方法。为了处理激光雷达点云和图像之间的外观差异和模态差异，从激光雷达地图中提取几何 3D 线，同时从视频序列中在线提取稳健的 2D 线。通过 VIO 的姿态预测，我们可以有效地获得粗略的 2D-3D 线对应关系。然后通过最小化对应的投影误差和拒绝异常值来迭代优化相机姿态和 2D-​​3D 对应。 EurocMav 数据集和我们收集的数据集的实验结果表明，所提出的方法可以有效地估计相机姿态，而不会在结构化环境中累积漂移或姿态跳跃.
　　在这项工作中，我们提出了一种使用直接 2D-3D 几何线对应关系在先前 3D LiDARmaps 中实时轻量级单目相机定位的方法。遵循相关工作[6]、[7]。对于几何并发特征提取，从 LiDAR 地图中检测到 3D 线段，同时从视频序列中在线提取鲁棒的 2D 线段。通过使用来自 VIO 的 6-DOF 姿态预测，在视野 (FoV) 中提取局部可见 3D 线并直接与 2D 线特征匹配以获得粗略的 2D-3D 线对应关系。最后，通过最小化对应的投影误差和拒绝异常值来迭代优化相机姿态和 2D-​​3D 匹配。 这项工作的主要贡献是估计用于相机定位的几何 2D-3D 线对应，从而有效地关联每个关键帧与先前的 LiDAR 地图。几何线对应对外观变化具有鲁棒性，适用于城市环境中的相机定位。图 1 显示了具有 2D-3D 线对应关系和 LiDAR 地图中估计的相机姿态的相机图像。

提出的方法

    ~~~          ~~~~     所提出的方法同时估计 LiDAR 地图中的 6-DoF 相机姿态和 2D-3D 线对应关系。 对应关系用于通过最小化 3D 线投影误差来优化相机姿势，而细化相机姿势可以帮助拒绝异常对应。 . 同时，PnP 求解器 [23] 对第一帧进行了粗略的姿态初始化，对手动标记的 2D-3D 点对应进行了标注。然后利用 VINS-Mono [2] 来预测相邻关键帧之间的相机运动。 使用预测的姿势，提取相机视场 (FoV) 中的局部 3D 线，并直接与从图像序列中在线提取的 2D 线匹配。 最后，相机姿态和 2D-3D 对应被迭代更新。 管道如图2所示。

2D 和 3D 线提取

    ~~~          ~~~~     在城市环境中，几何结构通常由线段和平面表示。 我们使用基于分割的 3D 线检测方法 [24] 从 LiDAR 地图中提取 3D 线。 总体思路是将点云聚类成平面区域，并使用等高线拟合来获得3D线段。 这种方法对于大规模无组织点云是有效且稳健的。 虽然处理数百万个点需要时间，但在我们开始跟踪之前，所有地图的 3D 线只提取一次。
　　对于 2D 线提取，我们希望提取与 3D 线一致且对噪声具有鲁棒性的主要几何 2D 线。这在城市场景中具有挑战性，因为大量纹理噪声会产生碎片化的 2D 线段，并且某些几何边缘在颜色均匀结构（例如，白墙）上的 2D 图像中是不可见的。许多最先进的线段检测 (LSD) 方法已经在计算机视觉 [25]、[26] 中提出，其中传统的手工方法对于在 CPU 上在线运行具有很高的效率。然而，检测到的线条是碎片化和嘈杂的，一个例子如图 3（a）所示。这些碎片化和嘈杂的特征会产生大量的 2D-3D 匹配异常值。考虑到线的完整性和对噪声的鲁棒性，我们最终采用了基于学习的 LSD[26]，它使用吸引力场图 (AFM) 将 LSD 问题转换为区域着色问题。对于图像中的每个像素 p，模型首先学习从像素到最近线段上最近点 p＇ 的二维向量 a(p )。
　　
其中 p = (x; y) 是像素 p 的坐标。 然后是 AFM fa§; p 2 Ig 是通过将像素编码为线关联来生成的。 在训练步骤中，地面实况 2D 线被转移到 AFM 表示，然后网络直接学习模型以最小化输出与真实 AFM 之间的相似性。 为了测试，首先从图像生成 AFM 表示，然后使用挤压模块 [25] 迭代地将属于同一条线的 v§ = p + a§ 分组以拟合线段。 图 3(b) 显示了示例图像的检测线段。 它显示出与几何 3D 结构的良好一致性和对纹理噪声的鲁棒性。

2D-3D线匹配

对于单帧，获得 2D-3D 对应关系的主要步骤包括初始相机姿态预测、可见 3D 线收集和单个 2D-3D 线对应估计。这里提取 FoV 中的 3D 线有助于提高效率，因为与 3D 地图中的所有 3D 线相比，FoV 中的局部 3D 线非常有限。考虑到仅在 3D 线图上难以进行遮挡检查，我们将所有 3D 线保留在 FoV 中而不丢弃被遮挡的线。对于时间 t 的图像，来自 VINS-Mono 的相应姿态估计表示为 P¯ t 2 SE(3)，使用 2D-3D 对应关系更新的姿态表示为 Pt 2 SE(3)。通过使用来自最后一帧 Pt-1 的 2D-3D 对应的估计姿态和来自 VINS-Mono T 的相机运动，可以计算更新的姿态 P^t