SLAM++: Simultaneous Localization and Mapping at the Level of Objects

R. F. Salas-Moreno, R. A. Newcombe, H. Strasdat, P. H. Kelly. SLAM++: Simultaneous Localization and Mapping at the Level of Objects. IEEE Conference on Computer Vision and Pattern Recognition, 1352-1359, 2013.

主要内容

本文主要贡献是提出了一种物体辅助SLAM中相机定位的方法.主要内容如下:

• KinectFusion的点面ICP跟踪
• 因子图优化,包含二元因子<相机位姿,物体位姿;当前帧相机的物体位姿观测>和一元先验因子<物体位姿;地面位姿>. 分号前是因子的待优化变量,分号后是因子的观测量.
• 基于物体地图的重定位方法

不足

• 需要提供物体的几何模型.
• 提前建立物体数据库, 只能检测在数据库中出现的物体.
• 假设场景是静态的.
• 需要结构化先验: 物体均位于同一个平面(地面)上

摘要

R. F. Salas-Moreno等人展示了一个新的面向物体的3D SLAM框架，其利用了先验信息的优势：许多场景由重复，特殊类别的物体和结构组成。当一个手持深度相机在一个杂乱的场景中运动，实时3D物体识别和跟踪提供了6维相机-物体约束，通过位姿图进行优化。这提供了SLAM的描述和预测能力，其执行稠密表面重建，但是进行高度压缩的表示。作者证实在大型杂乱环境中能够进行实时增量SLAM，包括回环，重定位，运动物体检测，和物体级别场景描述的生成。

1, 介绍

大多数当前实时SLAM系统在低层次实体级别进行操作（点，线，块或者非参数表面表示，例如深度地图），必须要鲁棒地匹配，几何地变换和优化从而能够表示真实世界的错综复杂。现代处理硬件允许细节和尺度的层次提升，更多的兴趣转向了面向环境中存在物体和区域的几何的语义标号。但是，这个过程的某些想法揭示了大量的计算浪费；以及在SLAM操作闭环中更好地考虑领域知识的潜力。

作者提出了一个实时定位和建图范式，利用3D物体识别跳过低层次几何处理，直接在面向物体级别产生增量构建的地图。当一个手持深度相机在一个杂乱环境中运动时，物体很可能重复出现的先验知识使得3D识别和相对物体位置的位姿图地图的创建变得可能。这个图在新测量到达时连续被优化，并且一直保持下次相机测量的最新，稠密和准确的预测。这些预测被用于鲁棒的相机跟踪和主动搜索区域的生成用于进一步的物体检测。

我们的方法基于最近在实时3D物体检测和6DoF基于ICP的位姿修正的高效GPU并行应用。作者展示伴随着物体级别场景描述的显然好处，该范式使得地图存储与稠密重建系统表示相比的大量压缩，却有相似的预测能力；很容易应用到大尺度回环检测，重定位和用于特定领域先验的巨大潜力。

图1. （上）在SLAM++中，一个杂乱的3D场景被实时高效地在物体级别跟踪和建图。（左）一个实时场景在当前位姿处与合成渲染的物体。（右）我们对比一个原始深度相机法向量图和对应的我们物体图的高质量预测，被用于相机跟踪和掩膜物体搜索。

2. 使用手持传感器的实时SLAM

在SLAM中，从一个运动传感器实时建立一个内部一致的地图能够在任意长时间的运动中产生无漂移的定位。我们还没有看到真实可用的SLAM系统，可以嵌入到低成本设备中，且无需被非专家用户考虑或者理解就能使用。直到最近，最好的系统使用单目或者双目被动传感器。稀疏特征滤波方法如Mono-SLAM被提高通过“关键帧SLAM”系统如PTAM，被用于跟踪和bundle adjustment（BA）的并行，从而得到更多的特征和更准确的跟踪。

最近，一个突破已经被提供通过“稠密SLAM”系统，其利用GPU处理硬件来重建和跟踪全表面模型，使用非参数如网格或者隐式模型来表示。虽然该方法可以使用RGB相机，如DTAM，消费级深度相机已经出现在高表现，鲁棒的室内3D建图中，特别是通过KinectFusion算法。新的发展如Kintinuous已经解决了更大尺度的应用通过滑动体素，子块或者octree；但是一个真正可扩展的，多分辨率的，具有回环的稠密非参数表面表示仍然很难以捉摸，并且在对称环境中一直很浪费。

从稀疏的基于特征的SLAM（世界被建模为一个无连接的点云），到稠密SLAM（假设场景包含连续表面），我们已经看到了先验场景知识的增加。在SLAM++中，我们设置甚至更强的假设：世界在重复物体的形式上具有内在的对称性。虽然我们提前定义了场景中的物体，我们计划该范式允许场景中的物体被自动识别和分割为显著的和重复的元素。

物体SLAM具有许多基于特征SLAM方法的特性。不像稠密非参数方法，地图中相对少的离散实体使得联合优化所有物体位置来产生全局一致地图变得可能。地图实体现在是物体而不是点特征的事实把我们推到了一个前所未有的更强的位置；在6DoF中跟踪一个物体是足够的来定位一个相机，可靠地重定位一个丢失的相机或者回环检测可以在少量物体测量的基础上执行，由于它们的高度显著性。进一步地，并且更重要地，通过完全由我们对已知物体的稠密预测引导的主动跟踪和目标检测，即时目标检测提供了高效性和鲁棒性。

SLAM++和计算机视觉和机器人社区中场景重建和地图语义标号不断增长的兴趣相关，虽然我们强调在后处理几何标号和我们提供的闭环的，实时算法之间巨大的不同。最精致的工作之一由Kim完成。深度相机首先被用于扫描一个场景，类似于我们后面结果中提到的尺度和物体内容，然后所有数据被融合成一个单独的大点云。离线学习到的物体模型，用于处理大量实时