[2018]Mask-SLAM_ Robust feature-based monocular SLAM by masking using semantic segmentation

[2018]Mask-SLAM: Robust feature-based monocular SLAM by masking using semantic segmentation

1.作者

kaneko, iwami, t ogawa, yamasaki, aizawa

2.时间

2018

3.整体结构

解决的问题：如果图像的主要部分被移动的对象占据，许多特征点变得不可靠，并且RANSAC不能很好地完成。天空和汽车上的特征点通常会导致vSLAM中的错误。
解决的方法：使用语义分割产生的掩膜来排除特征点，排除掩膜区域中的特征点使vSLAM能够稳定地估计摄像机运动。

4.提出的算法

1.视觉SLAM

基于特征的VSLAM通常包括：（这两个过程同时执行）

1. 定位即跟踪相机姿态估计
2. 建图以重建周围的3D环境

ORB-SLAM是vSLAM的最先进的实现，它使用可以高速提取的ORB特征点，并比较这些ORB特征以获得对应点。ORB-SLAM利用获取大量对应对并从中选择可靠对的策略。RANSAC 是用于选择最可靠对应关系的算法。
RANSAC算法的操作如下:

• 从数据中随机抽取足够数量的样本。
• 估计一组参数来拟合这些样本,这组参数称为假设。
• 将获得的假设应用于除提取样本之外的所有数据,并计算每个数据样本的估计参数之间的距离。
• 将距离较小的样本视为内联样本,让内联样本的数量代表一个假设的正确性。
• 以上操作执行多次,采用内联数最大的假设,剔除离群数据。

一般来说，在vSLAM中，RANSAC可以从大量对应关系中找到最正确的一对，并可以推导出准确的相机姿态。然而，这种方法也存在局限：

• vSLAM需要静止物体的特征，以便RANSAC能够选择可靠的对应关系。当整个视图被移动的物体占据时，RANSAC不能选择可靠的对应关系。

因此，提出使用语义分割来弥补RANSAC的不足。语义分割用于产生一个掩码，以排除不可能找到正确对应的区域。具体而言,在一般的vSLAM系统中，在检测特征点的阶段，添加了“不检测掩蔽区域中的特征点”的操作。通过简单地增加这个操作，可以排除大部分获得的不准确的对应关系，这显著地减少了RANSAC误差.

2.语义分割

语义分割可以为图像的每一个像素分配一个标签。
文中定义的mask有如下几种：

• 汽车：移动目标，不适合提取特征点。
• 天空：距离相机很远，很难估计出准确的三维信息。

使用deeplabV2进行语义分割，deeplabV2的网络结构如下：

• 对于输入图像，深度神经网络输出对象存在的概率热图。
• 在概率热图上进行双线性插值。
• 使用条件随机场进行边界细化，输出最终的分割结果。

在实验中，本文使用CARLA驾驶模拟器创建的3000张分辨率为800*600的图像，训练了一个基于ResNet101的网络模型

5.实验

1.数据集

为了证明所提出方法的有效性，我们使用了CARLA驾驶模拟器，它可以模拟各种环境。现有的基准，如KITTI，场景有限，RANSAC不太可能失败。然而由于现实世界中会出现各种各样的环境，仅使用KITTI基准来评估模型是不够的。


在本实验中，我们从两个城镇(Town01，Town02)在15种天气条件下移动的汽车上获取图像，各创建了50个数据集，每个数据集包含1000幅图像(800 × 600像素)，每秒15帧。汽车使用自动驾驶模式自动驾驶，每次行驶距离为100-500米。

2.评估指标

在检测vSLAM的性能时，通早会测量vSLAM估计轨迹与真实值之间的误差，但在实验中，关注的是vSLAM的整体改进。我们将改进定义为当原始vSLAM失去位置并停止运行时，vSLAM方法无问题运行。我们便用了以下两种评估指标：

• 平均跟踪速率(MTR)：vSLAM能否在不丢失其位置或按顺序停止的情况下进行跟踪。将"失败跟踪"定义为未能获得序列中1000帧中超过80％的估计结果，反之为"成功跟踪"。

• 平均轨迹误差(MTE)：一般vSLAM的目标是"估计接近真实值的相机轨迹"。我们输出每个时间步的距离误差和一个序列的平均值作为"轨迹误差[m]"，作为对接近度的评价。注意我们只计算成功跟踪的误差。

3.实验结果

与ORB-SLAME比，我们的方法得到了较好的改善对于Video1,通过使用掩膜限制征检测区域。从整个视中提取特征点，估计结果趋于隐定。关于Video2，ORB_SLAM停止并丢失位置，因为汽车覆盖了整个视场。但是，在我们的方法中，使用掩膜成功地排除了汽车区域上的特征点，成功地跟踪了特征点。


Video3的天气是湿多云，时间为日落，且路上有水坑。由于跟踪建筑物轮廓在水中的镜像特征点，降低了vSLAM的估计精度。在我们的方法中，通过使用掩膜排除汽车和天空，与ORB-SLAM比，特征点更有可能在水坑区域被检测，因此误差更高。

6.结论

提出了一种新的基于特征的向量空间模型和语义分割相结合的方法。语义分割输出了将对象分类到图像中的语义区域的结果，我们从不适合vSLAM的语义区域生成了一个掩码。我们的vSLAM方法只从掩模排除的区域提取特征点，并且只能选择可靠的特征点。这使得vSLAM能够准确稳定地工作，而不会丢失其位置。