vslam论文12：MSC-VO:利用曼哈顿和结构约束视觉里程计（RAL 2022）

摘要

       视觉里程计算法在面对低纹理场景时往往会下降，例如人造环境，在这些场景中通常很难找到足够数量的点特征。在这些场景中经常可以找到的替代几何视觉线索，例如线条，可能变得特别有用。此外，这些场景通常呈现结构规律，例如平行性或正交性，并持有曼哈顿世界假设。在此前提下，本研究引入了MSC-VO，一种基于RGB-D的视觉里程计方法，它结合了点和线的特征，并利用了这些结构规律和场景的曼哈顿轴(如果存在的话)。在我们的方法中，这些结构约束最初用于准确估计提取线条的3D位置。然后将这些约束条件与估计的曼哈顿轴以及点和线的重投影误差相结合，通过局部地图优化来优化相机姿态。这样的组合使我们的方法即使在没有上述约束的情况下也能运行，允许该方法适用于更广泛的场景。此外，我们提出了一种新的多视图曼哈顿轴估计方法，主要依赖于线特征。MSC-VO使用几个公共数据集进行评估，优于其他最先进的解决方案，甚至与一些SLAM方法进行比较。

I. 引言

简而言之，本工作最重要的贡献是:

1)在低纹理环境下建立了鲁棒的RGB-D VO框架，该框架可以提高场景中存在结构规律和MA对齐时的位姿精度。否则，我们的解决方案仍然是可操作的，这将在实验结果部分中显示。

2)基于场景中存在的结构信息的三维线端点计算方法。

3)一种将重投影误差与结构约束和MA对齐相结合的精确高效的三维局部地图优化策略。

4)一种新的MA初始化过程，通过在多图非线性最小二乘公式中使用多帧观测值来改进传统的Mean Shift算法的估计。

5)在几个公共数据集上对所提出的方法进行了广泛的评估，并与其他VO和SLAM最先进的方法进行了比较。

开源: http://github.com/joanpepcompany/MSC-VO

III. MSC-VO概述

 图2：MSC-VO是建立在ORB-SLAM2的跟踪和局部建图部分之上的，由两个并行运行的线程组成

A.跟踪线程

       负责估计捕获的每一帧的位置。此外，该模块决定是否需要创建新的关键帧。如果可能的话，它还将每条新地图线与一个MA关联起来。

1)特征提取:

       时刻t来自RGB-D传感器的每一帧图像由彩色图像Ict和深度图像Idt组成。从ict中提取点和线的特征。点的检测和描述使用ORB，而线的检测使用线段检测器(LSD)[18]，并使用LBD的二进制形式进行描述。在下文中，点i在图像坐标中的位置记为pi，而在图像平面上检测到的每条线段j用起点sj和终点ej表示。另外，归一化线lj表示为:

2)三维特征位置估计:

       对点和线进行检测和描述后，得到其在相机坐标中的三维位置。点pi使用其在Id t中的2D位置对应的值作为深度进行反向投影。得到的三维位置用相机坐标表示为pci。

       由于线条比点更容易受到深度不连续性和遮挡的影响，这个简单的过程最终会产生不准确的3D线条。为了减少这种影响，我们提出了一种鲁棒的两步方法来计算三维直线端点。

       首先，对于每个线段j，我们计算其端点的初始3D位置，表示为{Sc j, Ec j}，通过反向投影符合图像中直线的点的子集，然后执行鲁棒拟合步骤，如[14]所示。3D归一化线elc j的计算与(1)类似。接下来，我们使用场景的结构约束来细化每条检测到的线。我们先把平行线和垂线联系起来。为此，对于当前图像中检测到的每一对可能的直线(Lc m, Lc n)，我们通过点积计算两个方向矢量夹角的余弦值:

3) 位姿估计:

       提取特征后，进行优化过程，估计当前摄像机的方向Rt∈SO(3)，平移量tt∈R3。最初，假设匀速运动模型，在前一帧中观察到的地图点和线被投影到当前帧中。接下来，计算两组2D-3D对应，一组为[2]中的点，另一组为[5]中的线。然后使用这些关联来优化当前相机姿势，最小化以下成本函数:

4) 关键帧插入: 

       一旦相机姿态被估计，当前帧被评估，以决定是否应该考虑作为一个新的关键帧。我们使用与ORB-SLAM2类似的策略，但合并了行对应。与ORB-SLAM2不同的是，我们没有使用最少跟踪特征数量的条件。这个想法背后的基本原理是，所提出的方法专注于低纹理环境，

       通常情况下，每帧追踪的特征数量在场景之间会发生巨大变化。因此，不可能确定一个合理的阈值。相反，我们建议使用地图中正在跟踪的当前帧特征与这些特征与可能创建的特征的总和之间的比率。一旦生成新的关键帧，将点和线包含在局部地图中，剔除冗余特征，如[2]所示。对于每一条新的地图线，我们在本地地图中搜索平行线或垂直线对应。

5) Manhattan Axes Association：

       给定M = {MA0, MA1, MA2}作为曼哈顿轴的集合，当插入一个新的关键帧时，每条新的地图线j都尽可能与轴Mj∈M相关联。为此，我们将每条线Lw j分别与三个轴进行比较，如果(3)中的表达式对于轴MAk的值足够接近于1，则认为该线平行于MAk，它们是匹配的，即Mj = MAk。这些关联在局部地图优化中使用，以减少相机旋转漂移。请注意，给定结构约束和MA对齐的组合，即使这些轴不可用，我们的方法也能够运行。

B. 局部建图

1) 局部地图优化:

       我们用M表示与MA相关联的地图线的集合，这些映射线可以在Kc中的任何关键帧中看到。定义作为待估计变量的集合，将优化问题定义为: 

2)曼哈顿轴估计

       设M为MA的集合，定义为关键帧k中观测到的与曼哈顿轴MAi相关的地图线集合，则优化问题可以表述如下:

 IV. 实验结果 

图4：(左)MA可能在场景中不存在，例如fr3- longooffice序列的一帧。(右)MSC-VO对该序列估计的轨迹，其中没有观察到跟踪失败。

A. 总体性能

       首先，图4说明了一个事实，即场景中可能没有MA，导致某些解决方案的跟踪失败。在MSC-VO的情况下，仅在局部地图优化中涉及MA的事实可以防止这些故障的发生。在图4(左)中，我们展示了fr3-long - office序列的帧，对于这个帧，MW假设不是很合适。在图中，绿色、红色和蓝色表示一条线与单个曼哈顿轴的对应关系，而黄色表示不与任何轴对应的3D线，橙色表示线。

       我们比较了几个版本的MSC-VO，以显示不同贡献的效果:PL-VO是MSCVO中仅结合点和线特征的部分;PL-VO- depth将PL-VO与提出的三维线端点估计方法相结合;MSC-VO-OR对应于所提方案的修改版本。

 图5：在fr3- longooffice数据集上PL-VO和MSC-VO随时间的旋转和平移误差。

表II报告了每个版本的MSC-VO在TAMU RGB-D数据集上的TED，以评估其在长序列中的性能。

 MSC-VO主要阶段的平均运行时间见表III

图6：(左)fr3-long - office序列的局部地图和不同版本的MSC-VO:第一个-仅使用点和线(PL-VO)，第二个- PL-VO使用拟议的线深度提取程序(PL-VO- depth)，第三个-完整的MSC-VO。(右)PL-VO、PL-VO- depth和MSC-VO的二维轨迹，分别用蓝色、绿色和红色表示，地面真相用虚线灰色表示。