【论文笔记】-- Visual SLAM and Structure from Motion in Dynamic Environments: A Survey（上篇）

前述

该论文基于动态环境下的SLAM的一般性问题，根据实际应用与输出，将现有方法分为三类A, B, C。每类方法包含相应的 actions 1, 2，每个 action 又有不同的方法 1）2）…。相应图解所下所示，

A. Robust Visual SLAM

1. Motion Segmentation
   1）Background/Foreground Initialization
   2）Geometric Constraints
   3）Optical Flow
   4）Ego-Motion Constraints
   5）Deep Learning
2. Localization and 3D Reconstruction
   1）Feature Based
   2）Deep Learning

B. Dynamic Object Segmentation and 3D Tracking

1. Dynamic Object Segmentation
   1）Statistical Model Selection
   2）Subspace Clustering
   3）Geometry
   4）Deep Learning
2. 3D Tracking of Dynamic Objects
   1）Trajectory Triangulation
   2）Particle Filter

C. Joint Motion Segmentation and Reconstruction

1. Factorization
   1）Multibody Structure from Motion (MBSfM)
2. Nonrigid Structure from Motion (NRSfM)

3. ROBUST VISUAL SLAM

如下图所示，为 robust visual SLAM 的流程图。可以看出，取决于是否采用基于深度学习的方法，该应用的输入要么是图像序列，要么是提取的特征对应关系。 该应用包含两个主要模块：（1）motion segmentation 和（2）localization and 3D reconstruction。 motion segmentation 将特征分为静态和动态特征，但是只有静态特征用于 localization and 3D reconstruction。

3.1 Motion Segmentation

Motion segmentation (即 moving object detection / segmentation)，将图像特征划分到两个没有交集的集合中，分别为静态、动态特征集合，从而检测出图像中的动态部分。经典的 vSLAM 会采用一些方法，如，

• 用统计方法（如RANSAC）计算几何模型（如基础矩阵，单应性）来获取静态的特征匹配，并且排除 outliers。计算时，采用 Sampson distance 来度量 inliers / outliers。
• 利用外部传感器（例如惯性测量单元（IMU））估计相机的自我运动来解决此问题。IMU的姿态估计可用于初始化相机姿态，并可靠地分割静态和动态特征。

前者，适用于动态物体较少的情况，若环境变化太大，则失效。后者，涉及传感器融合。

本节介绍除经典 vSLAM 和 visual-inertial SLAM 以外的方法。

3.1.1 Background-Foreground Initialization

该技术假定系统对环境先验，并可利用先验信息分割静态、动态特征。此先验信息可以是有关background（静态特征）或 foreground 对象（动态特征）的。 如果信息与 foreground 物体有关，则意味着系统已了解在摄像机前面移动的物体的类型或形状。

• 大多 foreground initialization 的方法利用了 tracking-by-detection 原理
• background initialization 类似于 background subtraction 技术

说白了，前者就是已知相机前的动态物体信息，从而分割静态、动态特征。后者同理。

3.1.2 Geometric Constraints

该技术依赖几何约束，利用对极几何特性来分割静态和动态特征。即，如下图a，动态特征不遵守静态场景定义的多视角几何约束。约束可以从对极线，三角剖分，基础矩阵估计或重投影误差等式中得出，如图3（b）所示。

3.1.3 Optical Flow

用光流法来分割出运动物体。

Optical flow defines the apparent motion of brightness patterns computed from two consecutive images. Generally, it corresponds to the motion field in an image, and thus it can be used to segment a moving object.

3.1.4 Ego-Motion Constraints

用自身运动约束来分割出静态特征。

Standard SfM and visual SLAM compute the motion of the cam era by means of the 8-point [53] or the 5-point algorithms [116]. This general ego-motion estimation is calculated without making any assumption on how the camera moves. Another way to estimate the camera pose is by assuming that the camera moves according to particular parameterization given external information (e.g., wheel odometry information). By enforcing this ego-motion constraint, classifying static features can be done by fitting feature points that match with the camera motion constraints.

3.1.5 Deep Learning for Motion Segmentation

3.1.1 - 3.1.4 均为基于特征的 Motion Segmentation，而深度学习法无需手工设计的特征，可以直接处理原生图像。

3.2 Localization and 3D Reconstruction

3.2.1 Feature-Based Approaches

3.2.2 Deep Learning for Pose Estimation and 3D Reconstruction