SuMa++论文阅读

摘要和引言

摘要

关键

语义信息

方法

• SuMa的扩展，融入语义信息，促进建图过程
• 语义信息由全卷积神经网络提取，并渲染在激光测距数据的球形投影上
• 计算出的语义分割结果可为整个扫描逐点生成标签，从而可以构建带标签的surfers的语义丰富的地图

结果

• 这个语义地图可让我们可靠地过滤动态对象，而且还可以通过语义约束来改进投影扫描匹配
• 我们对KITTI数据集高速公路sequence（带有很少的静态结构和大量的移动车辆）进行了实验评估，结果表明相比于最新技术的纯几何方法，我们的语义SLAM方法是有优势的

引言

语义信息很有必要

• slam系统经常在高动态环境中操作
• 需要已建图区域的语义信息来启用智能导航行为

关键工作

• 提出了一种新的SLAM方法，该方法可以用三维激光测距扫描生成这类的语义地图
• 本方法利用了现代LiDAR SLAM pipeline的思想，并且包含由FCN进行语义分割后的语义信息
• 可生成高质量的语义地图，同时改善地图的几何形状和里程计的质量

过程

FCN为激光测距扫描的每个带你提供了类标签。

1. 使用球面投影对点云进行高效处理
2. 二维球面投影上的分类结果反投影到三维点云
3. 但是反投影会引入伪影，我们通过两步侵蚀过程以及语义标签的基于深度的flood-fill来减少伪影
4. 语义标签整合到基于surfel的地图表示，并加以利用，以更好地配准新观察数据和已构建地图
5. 此外，在更新地图时，我们通过检查新观测数据与世界模型之间的语义一致性来使用语义过滤运动对象

用这种办法，我们降低了将动态对象融入地图的风险。

主要贡献

• 将语义信息整合进基于surfel的地图表示法中
• 利用语义标签过滤动态对象
• 总之，我们宣称
  我们可以准确地在环境中建图，特别是在有许多移动对象的情况下；
  我们可以获得比同一个建图系统更好的性能，只需移除一般环境中可能移动的物体，包括城市、乡村和公路场景。
• 我们对KITTI的具有挑战性的序列进行了实验性评估，并证明了与纯几何的基于surfel的建图和基于类标签删除所有潜在移动对象的建图相比，我们的语义surfel建图方法SuMa++的性能优越。

结果和讨论

结果

本文提出了一种新的方法来构建语义地图，该方法不需要任何相机数据，由基于激光的点云语义分割实现。
本方法利用扫描和地图之间的语义一致性来过滤出动态对象，并在ICP过程中提供更高级别的约束。

• 使我们能够成功地仅基于三维激光测距组合语义和几何信息，从而获得比纯几何方法更好的姿态估计精度

我们在KITTI Vision Benchmark数据集上评估我们的方法，结果显示与纯几何方法相比，我们的方法更有优势。

下一步

• 调查语义在回环检测中的用途
• 估计更细粒度的语义信息，例如车道结构或道路类型

讨论

在地图更新过程中，我们只对可移动对象的动态变化进行了惩罚，这意味着我们不会对语义上静态的对象进行惩罚。
本方法的局限性

• 不能在第一次观察中滤除动态对象。一旦在第一次扫描中有大量移动物体，本方法就会失败（因为无法估计合适的初始速度或位姿）

解决

• 通过在初始化期间删除所有可能移动的对象类型来解决此问题
• 但更鲁棒的方法是回溯由观察到的移动状态的变化而导致的变化，从而追溯更新地图

方法和实验

概述

方法

A.Notation

主要是位姿表示以及点云从局部坐标系转换到世界坐标系。

B.Surfel-based Mapping

• SuMa首先在时间步长t处生成了点云P的球面投影，即所谓的顶点映射$V_D$，然后用$V_D$生成向量映射$N_D$
• 稳定性对数比值（用二进制贝叶斯滤波器维持）用来判定一个surfel是否稳定

C.Semantic Segmentation

• 对于每一帧，我们用RangeNet++来预测每个点的语义标签，并且生成了一个语义映射$S_D$
• RangeNet++在语义上分割了由每次激光扫描的投影生成的距离图像
• 传感器视角中逐点标签的可用性还可以将语义信息集成到地图中
• 我们为每个surfel添加推断的语义标签y和来源于语义分割的该标签的相应概率

D.Refined Semantic Map

由于投影输入和RangeNet++网络内降采样的副产品产生的类似斑点的输出，当将标签重新投影到地图时，我们必须处理语义标签的误差。

为了减小该误差，我们使用了flood-fill算法。

flood-fill算法

输入是RangeNet++生成的原始语义掩码$S_{raw}$和相应的顶点映射$V_D$,输出是改进的语义掩码$S_D$。
考虑到预测对象边界不确定性比预测对象中心不确定性高，因此分为两步

1. 腐蚀去除像素
   先产生了腐蚀掩码$S_{{eroded}_{raw}}$，后将$S_{{eroded}_{raw}}$与顶点映射$V_D$生成的深度信息结合起来，填充腐蚀掩码$S_{{eroded}_{raw}}$。

2. 如果对应点的距离是一致的，即小于阈值𝜃，则将空边界像素的标签设置给相邻的已标记像素

E.Filtering Dynamics using Semantics

利用语义分割提供的标签来处理移动对象。

• 当更新地图时，通过检查新的观测$S_D$和世界模型$S_M$的语义一致性来过滤动态对象
• 如果标签不一致，就假设这些surfels属于两次扫描之间的移动对象
• 因此，在递归贝叶斯滤波器稳定性项的计算中添加了惩罚项，这样的话，在几次观测之后，就可以移除不稳定的surfel
  
• 利用以上3步，就可以完成动态对象的检测与移除

F.Semantic ICP

误差项较SuMa多了个权重$w_u$(将几何信息和语义信息联合)。

实验

比较SuMa,SuMa++,SuMa_nomovable。

验证

• 即使在存在大量移动物体的情况下也能准确绘制地图
• 与仅移除一般环境（包括城市，乡村，高速公路场景）中可能移动的物体相比，本方法性能更好

配置

• an Intel Xeon® W-2123 with 8 cores @3.60 GHz with 16 GB RAM
• an Nvidia Quadro P4000 with 8 GB RAM
• RangeNet++使用了KITTI Odometry Benchmark中所有的训练序列（00-10，除了08）进行训练

数据集

A.KITTI Road Sequences
动态对象较多的情况中，SuMa++和SuMa_nomovable表现相似，都挺好，SuMa表现较差。

• SuMa++可以产生比SuMa更一致的轨迹，并且在大多数情况下实现更小的平移误差
• SuMa++和SuMa_nomovable表现相似，SuMa表现较差（动态对象导致的不一致性）

B.KITTI Odometry Benchmark
SuMa_nomovable在城市场景中偏差较大，原因如下

• 即使我们尝试改善语义分割的结果，但仍有错误的预测导致地图中实际为静态的surfel被删除
• （在测试中）停泊的汽车对于扫描而言是良好且独特的特征，移除掉它们会出现问题

在未知轨迹中评估我们方法的性能

• SuMa++,旋转误差0.0032 deg/m,平均位移误差 1.06%
• SuMa,旋转误差0.0032 deg/m,平均位移误差 1.39%

如有错误，烦请斧正，不胜感激！