Motion-based Detection and Tracking in 3D LiDAR Scans

综述部分

📌 物体检测和跟踪可以分为基于模型的(model-based)和不依赖模型的(model-free)。
基于模型的方法的主要缺点是它们不能泛化到不同类别的对象。（泛化能力差）
无模型方法主要基于运动线索，能够检测和跟踪任意形状和大小的对象。通过先验的静态地图来判断是否为运动物体在物体运动很小的时候很容易失败。
model-free的方法：

1. Kaestner et al. [6,”Generative object detection and tracking in 3d range data”] 提出了一种基于KF的静态传感器的动态物体检测和跟踪框架。
2. Wang et al. [16,”Modelfree detection and tracking of dynamic objects with 2d lidar.”] 提出了一种无模型方法，用于在 2D LiDAR 数据中进行检测和跟踪。使用联合状态表示，他们估计传感器的状态、局部静态地图和动态对象的状态。每个传入扫描都与本地静态地图和动态对象相关联。
3. Azim et al.[1,”Detection, classification and tracking of moving objects in a 3d environment.”] 使用基于八叉树的占用网格来表示环境，并确定地图和传入扫描之间的不一致以检测动态对象。
4. Tipaldi et al. [13] & Van De Ven et al. [15] 基于CRF的方法。
5. Moosmann et al. [7,”Joint self-localization and tracking of generic objects in 3d range data.”] 使用基于local convexity的分割方法实现物体检测，结合了 ICP 和用于跟踪的卡尔曼滤波器用于物体跟踪。
   本文的方法不使用先验形状进行检测，而仅依赖运动信息，实际效果较好。

算法部分

FRAMEWORK OVERVIEW

📌 算法框图：

1. 传感器跟踪模块使用静态点云$P_t^S$估计自身传感器的位姿$T_t^S$.
2. 目标跟踪模块使用动态物体的点云$P_t^D$，其中$P_t^D=P_t^{D_1}+...+P_t^{D_N}$由不同动态对象的多个不相交点集组成。目标跟踪模块估计他们的位姿$T_t^D=T_t^{D_1}+...+T_t^{D_N}$
3. 所有未被跟踪模块提供历史轨道的点$P_t-P_t^S-P_t^D$进入物体检测模块，这些点要么添加到静态点集$P_t^S$，要么创建一个新的动态对象$P_t^{D_k}$，要么分配给未知点云集$P_t^U$。对于第一次扫描，所有点都是未知的，即$P_t=P_1^U$.

MOTION-BASED DETECTION

A. Motion Models

📌 我们使用 RANSAC 来估计传感器和动态对象的运动模型 Tt ∈ SE(3)：
通过匹配$P_{t-1}$的特征点$F_{t-1}$和$P_t$的SHOT descriptors[14,”Unique signatures of histograms for local surface description.”]计算传感器和动态物体的初始位姿$T_t$，丢弃$F_{t-1}$中匹配距离大于阈值的点，剩下的点记作$I_{t-1}$。此时的初始位姿$T_t$仅仅和$I_{t-1}$相关，下面通过Bayesian approach将$I_{t-1}$扩展到整个扫描帧$P_{t-1}$.本节的作用是通过RANSAC计算$T_t$，同时输出内点作为贝叶斯方法的先验信息。

B. Bayesian Approach

📌 我们提出了一种贝叶斯方法来确定每个点$p_k$遵循给定运动模型的概率。
我们将$p_k$的遵循运动模型$T_t$的概率表示为遵循伯努利分布的随机变量$h_k$，其中$h_k=1$表示$p_k$遵循运动模型$T_t$。所提出的贝叶斯方法的目标是计算概率$p(h_k|P_t,{\hat{p}}_k)$，${\hat{p}}_k$是$p_k$经过$T_t$转换过的点，即通过$T_t$计算的${\hat{p}}_k$和$P_t$处于同一个坐标系。
$p(h_k|P_t,{\hat{p}}_k)$表达的是在${\hat{p}}_k$和$P_t$的相关性（包括空间距离、局部几何相似性等）的条件下，$p_k$服从运动模型$T_t$的概率。

假设$h_k$和${\hat{p}}_k$是互相独立的，那么有下式：

接下来对似然$p(P_t|h_k,{\hat{p}}_k)$建模:
$p(P_t|h_k,{\hat{p}}_k)$描述的是在已知${\hat{p}}_k$是否服从运动模型$T_t$的条件下，$t$时刻的激光点云是$P_t$的概率。

假设点$p$到传感器的距离为$z$.由于$p(h_k)$的大小只与${\hat{p}}_k$的邻域$N_k\subset P_t$有关，因此在假设点$p_l\in N_k$的情况下，$N_k$是$P_t$中${\hat{p}}_k$的邻域，因为$P_t$中距离${\hat{p}}_k$较远的点云出现的概率和${\hat{p}}_k$是否服从运动模型$T_t$无关，故可以对似然建模为：

如果$h_k=1$,

如果$h_k=0$,

模拟撞到预期表面的概率$p_{hit}$、撞到前面意外障碍物的概率$p_{short}$、最大范围测量的$p_{max}$和无法解释的测量结果的$p_{rand}$。

引入局部几何特征的余弦相似度$c_{kl}$来描述局部几何的一致性：

其中 $f_k$是${\hat{p}}_k$的SHOT描述子，$f_l$是${\hat{p}}_l$的SHOT描述子.

将余弦相似度引入似然函数：

接下来对先验$p(h_k)$建模：
$p(h_k)$描述的是$p_k\in P_{t-1}$遵循运动模型$T_t$的先验概率，由于$p_k$很有可能遵循其周围点相同的运动状态，我们利用 RANSAC 提供的信息对此先验建模，即$p_k$附近的点是否在内部点集 $I_{t-1}\subset F_{t-1}$中。通过在$p_k$周围绘制一个球体来计算邻域：

如果$p_k$周围有很多内点，很少外点，那么$p_k$很有可能服从运动模型$T_t$.
因此定义
$p_0(h_l)=\begin{cases} 1 & \text{if $p_l\in I_{t-1}$} \[2ex] 0 & \text{otherwise} \[2ex] \end{cases}$

$p(h_k)=\frac{{\sum }_{p_l\in N_k^F}{w}_{kl}{p}_0(h_l)}{{\sum }_{p_l\in N_k^F}{w}_{kl}}$

$w_{kl}$代表了$p_l$和$p_k$的相关性，距离越小相关性越大，服从高斯分布：

C. Data Association

📌 数据关联就是对当前帧的点云$P_t$进行分类，将它们分配给相应的运动模型$T_t$.
由于传感器运动和噪声，每次扫描都由从真实结构表面采样的不同点组成。因此，在 $P_{t-1}$和$P_t$之间建立点对点的对应关系是不可行的。

1. 根据上一节中的贝尔斯方法计算出的$P_{t-1}$中$p_k$服从$T_t$的概率$p(h_k=1|P_t,{\hat{p}}_k)$可以将那些有着高概率服从$T_t$的点$p_k^{\ast }\in {\hat{P}}_{t-1}^{\ast }$提取出来
2. 通过在所有点$p_k^{\ast }\in {\hat{P}}_{t-1}^{\ast }$.周围绘制球体来确定邻域$N$的联合。
3. 如果点$p_l\in P_t$在邻域$N$内，那么$p_l$服从运动模型$T_t$.
   通过以上3个步骤，我们可以根据$P_t$中点的运动模型将它们分类。并分配到静态点云$P_t^S$或者一个动态物体$P_t^{D_i}$，我们应用欧几里得聚类来处理跟随相同运动的多个对象。

D. Multiple Motions

📌 通过以上三个小节，我们进行了一些操作：

1. 使用RANSAC检测物体(A. Motion Models),获取满足运动模型$T_t$的内点和先验。
2. 使用Bayesian approach(B.Bayesian Approach)获取某个点服从运动模型$T_t$的概率
3. 根据点服从运动模型的概率，对点进行聚类，从而完成了数据关联。
   以上3个步骤可以用于关联一个运动物体或者静止点云，如果有多个运动物体呢？
   我们可以将以上步骤执行多次，来跟踪多个运动物体。执行完一次就删除满足其运动模型$T_t$的点云。
   由于我们假设周围大部分的点云属于静止点云，因此我们默认第一次检测到的运动$T_t$为传感器的运动$T_t^S$。
   对于随后检测出的运动$T_t^{D_i}$,如果$||T_t^{D_i}-T_t^S|{|}_F>\epsilon$,那么我们创建一个新的动态对象。如果不满足上述关系，那么将这部分点云添加到静态点云。

TRACKING THE SENSOR AND DYNAMIC OBJECTS

📌 通过以上的内容，我们可以在不知道传感器的运动状态的条件下，实现区分静态点云和动态点云，并实现前后帧动态物体的数据关联。下面介绍如果跟踪传感器和动态对象的运动。

A. Sensor Motion

📌 首先将上一帧的静态点云转换到当前帧点云的坐标系中：

基于距离最近的原则，寻找对应点，然后使用RANSAC估计传感器相邻帧的位姿增量${\hat{T}}_t^S$

然后更新传感器的位姿

$T_t^S={\hat{T}}_t^S\ast T_{t-1}^S$

此处注意，静态点云的运动和传感器的运动是互逆的，因此上式成立。

B. Dynamic Objects

📌 首先将上一帧的动态点云转换到当前帧点云的坐标系中：

在（C. Data Association）中我们确定了运动物体点云$P_{t-1}^{D_i}$的邻域$N\subset P_t$，我们通过匹配 SHOT 描述子来找到$P_{t-1}^{D_i}$和$N$中点云的对应关系，使用RANSAC来估计运动模型$T_t^{D_i}$.
我们为每个分割的动态对象创建一个Tracklet，由其运动模型和点集定义。跟踪超过 NT 扫描的Tracklet 被提升为轨道。我们做出这种区分是为了避免误报。当对象不再在传感器视野中或完全被遮挡时，轨迹丢失。为了解决临时遮挡，我们根据对象最后一次观察预测边界框。当点重新出现在轨道边界框内时，我们恢复了轨道。

实验部分

📌 使用64线Velodyne激光雷达。为了进行广泛的定量分析，我们手动标记了除行人之外的所有动态对象，并将我们的方法的结果与 Moosmann 等人提出的移动对象映射 (MOM) 方法进行了比较 [7,”Joint self-localization and tracking of generic objects in 3d range data.”]。对于本节介绍的所有实验，我们选择 ζ = 0.95、ε = 0.2 和 NT = 8。

在向框架提供扫描帧之前移除了地平面，因此没有对地点进行分类。

从图中看，可以对汽车、卡车、自行车分类，但是无法对行人进行分类，因为行人的运动速度太慢了，而且行人不是刚体。而且由于行人相对较小的尺寸，行人也可能由很少的点组成，尤其是当他们远离传感器时。
统计了准确率（正确检测数与检测数之间的比率）和召回率（正确检测数与边界框数之间的比率），我们对序列的所有扫描进行平均精度和召回率，并计算 F1 分数。我们还定义了一个对象召回（ObjRcl），它测量根据基本事实检测到对象的扫描次数与实际存在的扫描次数之间的比率。我们在所有对象上平均这个值。与召回相反，每个对象对对象召回的贡献相同，与对象存在的扫描次数无关。

统计了真实轨道数目和算法跟踪到的轨道数目
![在这里插入图片描述](https://img-blog.csdnimg.cn/879d38b265364f54af72e82e7b2ea36d.png

总结

📌 本篇论文的创新点：

1. 提出了一种基于运动线索的多物体关联跟踪的方法，不依赖于任何先验信息和模型。
   可以检测多种尺度的运动物体，和运动物体的尺寸无关，只要物体是运动的就可以检测出来。但是这样导致无法检测出运动速度较小的物体，例如行人。
2. 提出了基于贝叶斯的点服从运动模型的概率，并基于此进行数据关联。

思考：

1. 使用本文的基于运动线索的方法对运动物体进行检测，估计传感器运动时采用特征点匹配的方式精度是否比RANSAC的精度高一些？
2. 本文中需要观测到一个物体超过NT(NT=8)帧才对其建立轨道，从而避免了误报，同时对物体轨迹进行预测，建立预测的Bounding Box，从而对障碍物遮挡鲁棒。
3. 本文的方法无法关联跟踪静态物体，可以对本文的静态点云执行一些操作，用来检测静态物体（例如停止的汽车），由于这些物体是静止的，关联的准确度应该很高，同时使用一些基于非运动线索的方法对行人进行检测。