激光雷达动态障碍物滤除-调研与展望

0. 简介

激光雷达作为自动驾驶中最常用的传感器之一，由于其深度感知特性优良，这也让以激光SLAM为主的SLAM方法被广泛应用。但是我们发现在人员密集，车辆密集的场景经常会造成点云定位效果不佳，而这些情况传统滤波方法是没有办法解决的。本篇将主要围绕着深度学习的方法来讲述激光雷达分割的问题。

1. SLAM配准与建图

无论哪种点云配准方式（点到点/点到特征/点到栅格/NDT），都是基于静态假设的，理论上动态点一定会影响配准的精度，当然这一点用于建好地图的定位也同样适用。当一帧中如果动态点比例过高的话，会造成轨迹精度下降，甚至不排除跑飞的可能。在这个层面，只能通过实时的方式在配准之前或配准过程中，识别并干掉动态点。

如果我们认为动态物体对配准的干扰有限，不太影响轨迹精度，但我们还是无法忍受最终生成的地图中充斥着大量动态物体的“鬼影”（如下图所示），这会对后期基于地图的定位、或者**基于地图的可行域规划（路径规划）**产生不利的影响。

1.1 传统配准思路—通过聚类+卡尔曼滤波预测过滤动态障碍物

传统方式比如在配准迭代过程中剔除距离过远的点，物检测流程一般如下：

1. 考虑到车上有多个传感器共同作业，需要对输入的激光点云做时间同步和外参标定。

2. 考虑到激光雷达的采样噪声和点云数据量大的问题，需要对点云做预处理，减少数据量，剔除噪声点。

3. 每帧点云数据中包含了大量的地面点，检测的目的是获取道路障碍物信息，需要进一步分割出地面上的点云。

4. 地面上的障碍物点通常采用无监督的聚类算法形成多个团簇，每个团簇则表示一个障碍物。

5. 针对团簇的物体识别可以根据任务需求而定，如果需要类别信息，可以采用特征提取+分类器的方式分类障碍物。

6. 对每一块团簇做包围框拟合，计算障碍物属性，比如中心点，质心点，长宽高等。

7. 对每一个障碍物构建一个卡尔曼滤波器做跟踪，平滑输出，从而来判断是否运动。

1.2 传统配准思路—适用submap来精配准

“RF-LIO: Removal-First Tightly-coupled Lidar Inertial dometry in High Dynamic Environments ”，这项工作就是传统的匹配滤波的思路，它建立在 LIO-SAM 的基础上，先剔除是指所提出的RF-LIO首先去除没有准确姿势的运动物体，然后采用 scan-matching 。当新的 scan 到达时，RF-LIO 不会立即执行扫描匹配以获得准确的位姿，因为它很容易受到动态环境的影响，相反，我们使用紧耦合惯性测量单元 (IMU) 里程计来获得粗略的初始状态估计，然后 RF-LIO 可以利用自适应分辨率距离图像初步去除环境中的运动点。在初步去除运动点后，RF-LIO 使用 scan-matching 来获得相对更准确的位姿。在精配准迭代过程中，不断基于初值和多分辨率深度图检测submap中的动态点并移除，最终实现基于“静态submap”的精配准。因此，即使在高动态环境中也可以获得准确的姿势。实验结果表明，在高动态环境下与 LOAM 和 LIO-SAM 相比，所提出的 RF-LIO 的绝对轨迹精度可以分别提高 90% 和 70%。

论文可见下面链接：https://pan.baidu.com/s/1GdwaNrH80mgem4xbZKdZ-Q#list/path=%2F
提取码：384o

RF-LIO 的总体框架，它由三个主要模块组成：IMU 预积分、特征提取和建图。首先，IMU 预积分模块用于推断系统运动并生成 IMU 里程计。然后，特征提取模块补偿点云的运动畸变。通过评估点的粗糙度来提取边缘和平面特征。

建图模块是我们提出方法的关键模块，要在没有准确位姿的情况下先去除动态物体，有几个关键步骤：

• 初始位姿是通过 IMU 里程计获得的。然后使用 IMU 预积分和 scan-matching 之间的误差来确定初始分辨率（即每个像素对应多少个 FOV 角度）。
• RF-LIO 使用此初始分辨率从当前激光雷达扫描和相应的子图分别构建距离图像。
• 通过比较它们的能见度，去除子图的大部分动态点。
• RF-LIO 将激光雷达扫描与子图进行匹配，并判断 scan-matching 是否收敛。如果是收敛的，经过图优化后，用最终的高分辨率去除当前关键帧中剩余的动态点，否则，将生成新的分辨率，并重复步骤2、3、4。

1.3 现代配准思路—通过深度学习实现动态物体识别

而当前更流行的方式则是基于deep-learning直接识别出动态物体并将点云去除。

“Dynamic Object Aware LiDAR SLAM based on Automatic Generation of Training Data ”。作者基于deep-learning（3D-MiniNet网络）进行实时3D动态物体检测，滤除动态物体后的点云被喂给LOAM，进行常规的激光SLAM。

文中提到为了克服动态障碍物的问题并支持机器人在现实世界场景中的部署，文章提出了一个用于动态对象感知激光雷达SLAM算法。文中提出了一种新颖的端到端占用网格管道，可以自动标记各种各样的任意动态对象。

从结果中，我们可以大致看出其可以有效地对动态障碍物完成分割。

2. 动态物体滤除

2.1 环境物体分类

环境中的所有物体依据“动态程度”的不同，分为四类：

高动态物体：实时移动的物体，如行人、车辆、跑动的宠物…
低动态物体：短暂停留的物体，如站在路边短暂交谈的人…
半静态物体：在一个SLAM周期中不动，但是并非永远不动的物体，如停车场的车辆、堆放的物料、临时工棚、临时围墙、商场中临时搭建的舞台…
静态物体：永远不动的物体，如建筑物、马路、路沿、交通信号灯杆…

除了静态物体外的其它三类物体，都有不同程度上的动态属性，应对策略也各不相同：

针对高动态物体：在线实时过滤
针对低动态物体：一次SLAM过程结束后，后处理方式过滤
针对半静态物体：全生命周期建图（life-longmapping, or long-term mapping）

2.2 实时点云过滤

实时动态点云过滤一定需要参考帧来比对出动态点，上面一节主要讲述的就是动态点云滤除的操作，主要是分为传统滤除方法以及深度学习滤除方法。在深度学习方面基本思路就是先通过深度学习完成动态障碍物的分割，然后将分割好的点云数据放入SLAM当中。

这里主要阐述一个基于深度学习的三维激光雷达动态物体分割（LiDAR-MOS）方法，论文提出了一种利用深度学习和时空信息结合的方法实现了三维激光雷达动态物体分割，并用以提高激光雷达SLAM定位和建图的精度。这是对应的代码：https://github.com/PRBonn/LiDAR-MOS。

在这项工作中，我们的目标是对 LiDAR 数据进行动态物体分割 （LiDAR MOS）。在这项工作中，与点云语义分割不同的是我们的任务不是要预测点云的语义类别，如车辆、道路、建筑物等，而是更专注于将场景分割成两部分：一部分是实际移动的物体，例如正在行驶的汽车、行人，另一部分是静态物体，例如停放的汽车和静态背景，例如道路和建筑物等。我们提出了一种新的基于深度学习的方法，该方法利用 LIDAR 距离图像（range image），运算速度非常快，能够实现在线实时点云动态物体分割。

上面所展示的是该方法的概述图。我们使用基于距离图像的 LiDAR 表示方式和神经网络来实现在线动态物体分割。给定当前激光雷达观测和过去的激光雷达数据，我们首先生成过去LiDAR数据和当前 LiDAR 观测之间的“残差图像”（residual image），通过这种方式，我们可以得到时间上的序列信息。生成残差图像后，我们将残差图与当前扫描连接到一起，一同用作神经网络的输入。然后我们利用所提出的动态物体二分类标签训练神经网络，该标签仅包含移动和非移动的两个类别。最终，所提出的方法可以实现对激光雷达数据中动静物体的检测和分离。

2.2 后处理点云过率

后处理方式由于不需要顾虑实时性，因此可以将整个SLAM周期内的所有帧作为参考信息，来识别动态点。相比于实时方式，后处理方式更追求动态点云滤除的准确性和充分性。

以后处理方式为前提，常见的动态物体过滤方法可以分为典型的三类：segmentation-based, ray-casting based, 和 visibility-based

…详情请参照古月居