Meaningful Maps With Object-Oriented Semantic Mapping

基于RGB-D数据的语义建图（SLAM帮助语义）。具体过程如下

• 首先利用SSD执行单帧RGB图片（2D）物体检测。
• 接着基于检测结果和深度信息，利用3D分割算法进一步分割3D点云。
• 最终利用ORB-SLAM2的相机位姿信息将每帧的3D点云分割结果合并到地图中，建立语义点云地图。

特色：

• 非物体只维护点云，物体维护点云和类别标号。
• 点云分别在每个观测帧中维护。好处是闭环后点云也可以跟着观测帧的位姿变化。
• 语义更新：简单累加，取最大值。

未来工作

• 语义帮助SLAM。利用语义信息提高SLAM的精度，鲁棒性等。

N. Sunderhauf, T. T. Pham, Y. Latif, M. Milford, I. Reid. Meaningful Maps With Object-Oriented Semantic Mapping. IEEE/RSJ International Conference on Intelligent Robots and Systems, 5079-5085, 2017.

摘要

对于智能机器人与环境以有意义的方式交互，它们必须同时理解周围场景的几何和语义性质。至今主要研究已经分别解决了这些建图挑战，专注于几何或者语义建图。Sunderhauf等人解决了同时建立包含语义的物体级别的实体和基于点或网格的几何表示。作者同时建立了已知物体类别的之前未见过实体的几何点云模型，同时创建以这些物体模型为中心实体的地图。作者使用了稀疏，基于特征的RGB-D SLAM，基于图片的深度学习目标检测和3D无监督分割。

1. 介绍

对于移动机器人和环境有意义地交互，它们必须获得一个同时表达几何和语义信息的世界模型。但是，大多数现存在机器人建图和SLAM中的研究专注于建图一些语义类别但是忽略建模分离的物体实例或者需要一个已知的3D物体模型先验。

在本文中我们提供了一种创建更多有意义地图的方法，不需要之前方法的需求和限制：地图不仅表达了东西在世界的哪里，还包括了它是什么。我们的方法是及时的，由于专注于几何的机器人SLAM和基于深度学习的检测技术现在都足够成熟来被融合到一个面向物体的语义建图系统，可以创建丰富标号的地图，其具有几十个或者甚至几百个物体类别，同时维护几何准确性。

我们的语义建图是面向物体的，因为单独的物体实例是在我们地图中的关键实体。如图1所示，生成的环境地图富含语义信息，以分离的物体实例的形式。这些物体同时携带几何和语义信息以类别标号和置信度的形式。和早期工作的一个重要区分（如[2]）是我们的地图不仅仅包含标号的独立3D点通过投影语义信息从图片到3D结构中。相反，物体是分离的实体，完全独立于地图的非物体部分。这允许更高级的场景理解，例如，机器人可以推理所有属于地图中的某个物体的3D点在操作中将会一起移动。

图1. 我们证实使用RGB-D数据面向物体的语义建图是可行的从小型的桌面环境（左）到办公室环境（中）到整个实验室环境（右）。图片展示了物体染色的3D地图结构。我们没有仅仅投影语义标号到3D点上，而是维护了地图中中心实体的的物体，并且不需要先验3D物体模型[1]。为此，我们的系统创建并扩展3D物体模型同时连续建图环境。物体检测和分类被执行使用卷积网络，同时一个无监督3D分割算法分配3D点的分割为每个物