大规模稠密语义快速三维重建系统：voxblox++ :Volumetric Semantic Mapping论文阅读

语义SLAM |voxblox++ :Volumetric Semantic Mapping论文阅读

论文地址：http://arxiv.org/abs/1903.00268

开源代码： https://github.com/ethz-asl/voxblox-plusplus

论文作者及研究团队概述：

苏黎世联邦理工学院：由Roland Siegwart教授领导，Autonomous System Lab于1996年在洛桑联邦理工学院成立，它是机器人和智能系统研究所（IRIS）的一部分。
实验室旨在创造能够在复杂多样的环境中自主运行的机器人和智能系统。设计机电和控制系统，使机器人可以自主适应不同的情况，并应对不确定和动态的日常环境。机器人可以在地面，空中和水中运动，同时具备在复杂环境下自主导航的功能，研究出了包括用于感知，抽象，建图和路径规划的方法和工具。他们还在tango项目上与谷歌合作，负责视觉惯导的里程计，基于视觉的定位和深度重建算法。

---

内容目录：

1.系统总体架构

​ voxblox++:是一种基于RGB-D数据的在线体数据实例语义映射SLAM框架。通过对几何和语义线索的联合推理，一种基于帧的分割方法(mask-rcnn)能够推断出关于检测到和识别出的元素的类别信息，并能够发现场景中的新对象（其中利用了贝叶斯语义信息，这些新对象的实例是在之前没有定义的）。将部分分割信息增量融合到全局地图中，得到的目标级语义标注体地图将有利于导航和操纵规划任务。

​ 对于每一个新的帧，传入的RGB图像用Mask R-CNN网络进行处理，以检测对象实例并预测每个经过语义注释的掩码。同时，通过几何分割将深度图像分解为一组三维分段。预测语义掩码用于推断相应该深度段的类别信息。

​ 接下来，使用数据关联策略将当前帧中预测的片段与其在全局映射中的对应实例相匹配，以检索每个映射一致的标签。最后，将来自当前帧的密集几何体和分割信息集成到全局地图体中。

2.part 1:语义实例感知分段细化

$$\begin{gathered} 在假设现实世界中的物体呈现整体凸面几何图形的基础上，按照论文Incremental \\ ObjectDatabase:Building3DModelsfromMultiplePartialObservations \\ 中提到的方法，在每一帧t生成当前深度图像中闭合2D片段r_i\in R_t, \\ 以及相应预测3D片段的集合s_i\in S_t. \end{gathered}$$

​ 以下是上述该参考论文提出的分割方法

​ 在第一步中，我们对深度图像进行矫正，以获得更连续的有效深度值区域。在第二步中，我们检测显示出强烈深度不连续性的边缘。接下来，我们基于一个局部像素邻域计算曲面法线，并使用它们来确定每个像素的局部凸性。在最后一步，我们结合凸性图和深度不连续性来形成闭合区域并提取轮廓，并用标签填充。

$$\begin{gathered} 经过Mask-rcnn处理后对于每一个RGB图像，输出都是一个物体实例的集合，在这里 \\ 面,第k个被检测到的实例使用一个M_k和一个物体类别c_k所描述。 \end{gathered}$$

$$\begin{gathered} 重合片段p(i,k)这样定义：在重合的地方的像素数量除以总的像素数量。 \\ 即：p(i,k)=(r_i\cap M_k){\frac{1}{M}}_k对于每一个区域r_i\in R_t,最高重叠率p_i和对应掩膜M_k的索 \\ 引标签k_i是由下面的公式来定义的: \\ {p}_i=maxp(i,k) \\ {k}_i=argma{x}_{k}p(i,k) \\ 如果p_i\ge r_p(阈值)对应的s_i会被分配实例标签o_i=k_i和物体类别c_i=c_k \\ 如果片段s_i没有掩膜的话，那么我们对于这个片段对应的实例标签和物体类别赋值 \\ {o}_i=c_i=0，表示经过maskrcnn处理后我们无法预测它的信息。 \end{gathered}$$

part2:数据关联策略

$$\begin{gathered} 不同帧间存储的数据是没有关联属于同一个物体的片段在不同帧被赋予了不同的类别信息， \\ 从而发生错误（因为这些掩膜仅仅在它们被预测的帧S_t的范围内有效,同一个部分的物体可 \\ 能在不同帧中被赋予不同的语义类别信息）。为了解决这个问题，我们定义了在持续的几何 \\ 标签的集合L和持续的物体实例标签的集合O。 \end{gathered}$$

$$\begin{gathered} 来自集合S(该集合是每帧RGB图像被分割形成的)的每一个片段s_j会通过L(s_j)=l_j被一 \\ 个特殊的几何标签来定义，所以在处理每一帧t的时候，我们通过找到L_t(s_i)=l_j(当s_i与 \\ {s}_v\in S（s_v是第t帧对应的RGB图像被分割的片段））重合部分超过设定阈值便将第t帧深 \\ 度图分割产生的3D片段赋予r_i\in r_t与l_j产生关联)，将该帧t中的片段与全局片段S相关联。 \\ 同理，在一个帧的范围内，我们去寻找一个映射I_t(o_i)=o_m，o_m\in O(o_m取与该片段相关 \\ 联的l_j映射最多的那个标签值),来把在当前帧的物体实例o_i和储存在地图中的持续实例标签 \\ O匹配起来。此数据关联步骤的结果是一组3D从当前帧深度图像中分割si\in St，每个片段 \\ 都被指定一个持久段标签l_j=L（s_i）。此外，相应的对象实例标签与持久标签 \\ om=I_t（o_i）匹配。(如果在之前没有相应l_j,和o_m与s_i\in s_t相对应则我们用新的标签 \\ lnew和onew来对他们赋值) \end{gathered}$$

关于片段最后赋予实例的实例标签和语义类别**
$$\begin{gathered} 在最后不断向地图整合信息的时候，我们定义了以下两个值分别表示l_j=L(s_j)与o_m,c_i之 \\ 间的关联，在每整合一个片段之后对其相关的之间的映射计数值，便会每次加一来更新值 \\ 。\Phi (l_j,o_m)=\Phi (l_j,o_m)+1 \\ \Psi (l_j,c_j)=\Psi (l_j,c_j)+1 \\ 最终对于该片段对应的掩码标签和物体类别我们这样取值： \\ {o}_m=argma{x}_o\Phi (l_j,o_m) \\ {c}_j=argmax\Psi (l_j,c_j) \end{gathered}$$
part3:地图融合

在当前帧被发现的3D片段是包含了丰富的类和实例信息，为了最终完成SLAM建图的任务，这些片段会被整合到一个全局体积式的地图里面。在使用已知的相机位姿把片段都投影到全局TSDF体积地图里面后。

TSDF值的计算

通过将点在世界坐标系的坐标V1(x,y,z)转换到相机坐标系在最后转换到像素坐标系下的深度与坐标系的高度(u,v）作比较。即V1.z与D(u,v)比较（如果D(u,v)>z， 说明此体素距离相机更近，在重建表面的外部;如果D(u,)<z，说明此体素距离相机更远）

这是一个全局数据立方体的二维示意图，网格中的值代表对应体素到重建表面的距离，其中正负交界的位置即是模型表面所在的位置。因此，在全局数据立方体中就隐含了重建出的模型表面信息,只需要遍历所有体素就可以提取出模型点云数据。

3.实验结果分析

通过对评估序列的比较，我们发现最终大多数平均分数（评估的是最终分割结果与一开始掩码的重合程度）会比相对比Pham做的工作要好（这是唯一一个提供了三维分割方面精度具体数据的工作，所以只能提供这一组比对数据）。

由于应用了贝叶斯语义从而能发现没有定义过的语义实例第四行为使用无监督语义分割而发现的系统所没有定义过的语义种类并将它们的轮廓体现出来。

4.论文总结

文章的主要贡献：
1）提出了一个组合的几何-语义分割框架，这个框架能识别检测之前没有见过的，新的物体
2）提出了一个新的数据关联策略：这个策略可以在多帧之间追踪和匹配 预测的实体
3）在公开数据集上进行了本框架的评估较往常方法性能优秀

4.论文总结

文章的主要贡献：
1）提出了一个组合的几何-语义分割框架，这个框架能识别检测之前没有见过的，新的物体
2）提出了一个新的数据关联策略：这个策略可以在多帧之间追踪和匹配 预测的实体
3）在公开数据集上进行了本框架的评估较往常方法性能优秀