EM-Fusion: Dynamic Object-Level SLAM

主要内容

面向动态环境的物体级别RGB-D SLAM系统，Fusion++（robot L：【论文阅读2】Fusion++: Volumetric Object-Level SLAM）的动态场景扩展版本，具体改进如下：

• 使用期望最大法（EM）的框架解决SLAM问题。
• E步：作者结合Mask R-CNN的实例分割和几何信息（像素的SDF值），计算每个像素属于每个物体的概率，见公式(7)。归一化后，进一步得到每个像素属于每个物体的归一化概率，即关联似然，见公式(5)。
• M步：使用深度图片和SDF物体地图的直接对齐[4]，独立地计算相机相对每个物体和背景的位姿。创新点在于，使用E步的关联似然作为对齐残差的权重，权重越大，说明该像素属于该物体/背景的概率越大，从而完成概率数据关联。

不足

• 没有区分静态/动态物体。导致背景像素较少，可能会影响相机位姿跟踪的质量。还会导致冗余的静态物体跟踪，消耗更多的资源。

M. Strecke, J. Stuckler. EM-Fusion: Dynamic Object-Level SLAM With Probabilistic Data Association. IEEE/CVF International Conference on Computer Vision, 5864-5873, 2019.

摘要

本文提出了一种物体级别的稠密动态SLAM。使用体素标号距离函数（Signed Distance Function，SDF）地图表示每个物体，并直接对齐RGB-D图片和SDF地图来跟踪多个物体。主要创新点是概率方法处理数据关联和遮挡问题。通过实验与SOTA方法比较，在鲁棒性和准确性上有所提高。

1 介绍

RGB-D相机在稠密3D场景获取中很受欢迎。但是大多数RGB-D SLAM方法假设环境是静态的，或者将动态物体当做外点滤除。能跟踪多个运动物体的SLAM方法还没有较多地被关注。

本文提出一种新的动态SLAM方法，能够跟踪场景中的多个物体。我们检测物体通过图片实例分割，并分别跟踪静态背景和物体。在之前的方法中，如Co-Fusion[15]，MaskFusion[16]，MID-Fusion[27]，测量和物体的数据关联被解决通过基于图片实例分割或者通过地图中的光线投影。而我们使用概率期望最大法（EM[3]）来确定像素到物体的未知关联。这种概率关联提供了额外的几何信息并隐式处理物体分割，跟踪和建图的遮挡问题（见图1）。总的来说，我们做出了如下贡献：

• 我们提出了一种概率EM构架用于动态物体级别SLAM，能够自然地处理数据关联和遮挡。
• 基于EM构架，我们通过RGB-D图片和SDF物体的直接对齐解决了多物体跟踪问题。
• 我们的方法达到了SOTA表现在用于动态物体级别SLAM的多个数据集上。

图1. 具有概率数据关联的动态物体级别SLAM。我们推理像素和物体的关联在EM框架下。E步骤基于当前图片的数据似然估计关联似然。M步骤中根据关联似然和测量更新位姿和地图。关联似然可视化结果如中间图所示。背景（上），火车（中），飞机（下）。

2 相关工作

静态SLAM：KinectFusion[13]增量跟踪相机运动并以体素SDF栅格为环境建图。一些其他RGB-D SLAM方法提出不同于ICP的跟踪方法，如直接图片对齐[10]，或者SDF对齐[4]，以及不同于SDF栅格的地图表示方法，如面元[9]或者关键帧[10]。大量方法向大规模环境[25][14]，闭环[10][26]或者物体级别地图[12][17]方向进行探索。

动态SLAM：最近，一些RGB-D SLAM方法被提出来跟踪运动刚体。Co-Fusion[15]扩展基于面元的表示到运动物体。它组合了几何和运动分割来检测运动物体。跟踪相机和物体相对静态背景的运动基于ICP对齐使用几何和颜色信息。MaskFusion[16]没有使用运动分割，但是融合了几何信息和实例分割。MID-Fusion[27]使用类似的方法，但是使用体素SDF和octree表示3D地图。我们也是用SDF但是将跟踪构建为直接的SDF对齐[4]。此外，我们的创新策略是遮挡处理。

3 提出方法

3.1 概率动态跟踪和建图

地图由