驭势科技LiDAR在线定位系统：如何实时检测道路标记并做语义匹配？

密集点云数据检测如何做到实时？

基于 LiDAR 的路标检测被广泛应用于高精地图的生成，但这些方法通常是离线处理的，处理密集点云数据非常耗时，因此不适用于实时环境感知和定位。

现有研究中的实时感知方法通常通过阈值化单次 LiDAR 扫描中的测量强度来检测路标。然而，单次扫描方法在检测完整的路标时面临挑战，因为 LiDAR 测量点的稀疏性使得检测结果容易受到噪声影响，缺乏鲁棒性。
一些研究通过累积多次扫描帧的路面点，并应用固定强度阈值来隔离路标点，这种方法提高了定位精度，但对环境条件和传感器类型变化的敏感性较高。
深度学习方法在路标检测任务中被广泛应用。例如，LLDN-GFC[2] 方法利用点云中车道线的空间特性，通过全球特征关联提取车道线，但这种方法只关注车道线，忽略了其他类型的路标，可能导致定位过程中出现退化问题。

相机由于其图像包含丰富的环境纹理信息，已广泛用于路标检测。然而，由于光照变化的敏感性和鸟瞰视角 (BEV) 车道表示中的失真，相机在某些应用中表现不够鲁棒。

相比之下，LiDAR 传感器对光照条件变化的敏感度较低，并提供了环境的精确 3D 表示。同时，可以利用 LiDAR 点云提取道路表面的路标，因为它们的反光材料特性。然而，这些基于 LiDAR 的方法在平衡高密度点云需求和实时性能要求方面面临挑战。

为了解决这些挑战，驭势科技提出了一种基于 LiDAR 的实时路标检测和高精地图配准的方法[1]：

采用一种自适应分割技术有效隔离与路标相关的点
通过聚合历史扫描数据建立时空概率局部地图，生成高密度点云
生成 LiDAR 鸟瞰视图 (LiBEV) 图像，并应用实例分割网络准确检测九种不同类型的路标

具体方法

整个定位系统如图所示：

基于 LiDAR 的实时道路标记检测

由于 LiDAR 点的分布稀疏，仅依赖单帧数据进行稳定、鲁棒的道路标记检测具有挑战性。为了克服这一限制，将连续的 LiDAR 扫描聚合到一个局部地图中，生成有利于有效道路标记检测的高密度点云。考虑到在线需求和高反射道路标记，聚合过程可以选择性地从地面平面中提取高强度点。此方法确保构建一个优化用于道路标记检测的局部地图，平衡计算效率和信息丰富性。

高反射点分割

该过程旨在自适应识别具有高反射性的点，这些点通常与使用反光材料绘制的道路标记相关。为了确保在不同传感器和场景中的适应性，引入了一种自适应分割方法，设计用于隔离高反射点。这一增强整体上有助于系统更加鲁棒。

为了提高系统效率，仅考虑地面点，这些点从 LiDAR 扫描中提取。该方法基于高度信息分割地面点，并通过部分拟合地面平面来提取它们。然后，引入分割系数 ρ 来区分第次扫描中的高反射点。具体来说，强度低于 ρ 的点将从扫描中排除。值得注意的是，分割系数 ρ 不是手动预先确定的，而是使用卡尔曼滤波动态估计并持续更新。卡尔曼滤波的状态根据状态转移模型演变：

其中是过程噪声。测量模型由下式给出：

其中是测量噪声。在每次 LiDAR 扫描中，计算地面点的强度均值 μ 和方差 σ。然后，创新计算的测量值确定为 μσ。

这种自适应方法依赖于两个假设：

假设附近的连续道路应具有相似的分割系数，因为地面材料的一致性。2. 假设大多数 LiDAR 点位于常见的沥青表面，而道路标记点具有统计上较高的强度。

在大多数城市道路环境中，这两个假设是成立的，确保了该方法的有效性。此外，分割这些高反射点对于优化效率至关重要，通过排除与道路标记无关的大量数据点，策略性地减轻计算负担。

概率局部地图更新

通过使用里程计聚合时空连续的 LiDAR 扫描来构建局部地图，结合高反射点生成用于道路标记检测的高密度点云。然而，随着扫描数据的积累，信息量大幅增加，导致计算负担加重。

为了实现实时性能，提出了一种新颖的概率更新局部地图的方法。该方法采用概率丢弃策略，根据计算的概率值选择性地移除地图中的每个点。局部地图中第个点的概率计算如下：

其中表示当前帧的索引，表示第个点所属的帧。η 是手动设置的参数，用于确定旧点的丢弃概率。随着 η 增加，旧点更有可能被保留，从而在概率局部地图中产生更高密度的点。

如公式所示，LiDAR 传感器新观察到的点赋予更高的保留概率值。该策略有效确保了局部地图的时空一致性，减轻了随时间积累误差的影响。此外，与在固定窗口内聚合扫描的方法相比，所提出的方法确保了局部地图数据的更平滑过渡，从而生成更高质量的 LiBEV 图像。

LiBEV 图像生成

LiBEV 图像的生成涉及将局部地图划分为地面平面的网格单元，每个单元对应于 LiBEV 图像中的一个像素。在每个单元中，使用色彩图将包含点的最大强度值映射到对应像素的 RGB 值。

本文的实现利用了高效的实例分割网络，从生成的 LiBEV 图像中准确分割语义道路标记。随后，从局部地图中提取对应于分割像素的网格单元内的点。提取生成语义点云，每个点都标记有特定的道路标记类别。值得注意的是，本方法设计用于分割最多 9 种类型的道路标记，包括虚线车道、实线车道、停车线、文本、箭头、菱形标志、三角形标志、路缘和人行横道，如图 1(b) 所示。相比仅关注车道线的方法，结合多样的语义道路标记显著提高了基于地图匹配的位置估计的鲁棒性。此外，由于注释图像语义分割比注释点云更快、更方便，所提出的方法将点云转换为图像，更有利于实际应用中的部署。

基于 SG-ICP 的高精地图道路标记配准(个人复现下来，感觉效果还ok)

在检测到道路标记之后，可以将这些标记与具有相同语义标签的高精地图中的对应元素关联。最后，通过道路标记配准来估计车辆在二维空间中的位置。本方法提出一种用于 LiDAR 扫描检测到的道路标记与高精地图中语义元素的稳健配准的 SG-ICP 算法。

在 SG-ICP 中，检测到的道路标记被分为三类：线条、线段和其他。实线车道和路缘在其点云中呈线性分布且没有明显的端点，因此被归类为线条。虚线车道、人行道和停车线也具有线性分布但有端点，因此被归类为线段。文本、箭头、菱形标志和三角形标志没有线性点云分布，因此被归类为其他。

对于线条，由于缺少端点，导致沿这些标记线性方向的约束完全丧失。对于线段，端点可以提供沿线性方向的约束。然而，由于端点估计不准确，端点之间的配准仍会导致沿线段方向的显著定位误差。因此，对于线性标记，沿其线性方向的约束对位姿估计的影响需要最小化，从而减轻整体位姿估计过程中的欠约束问题。对于其他标记，它们的点云不是线性分布的，因此通常在位姿估计上提供足够的约束。在我们的算法中，三类不同标记的配准通过广义 ICP（GICP）的目标函数组织为统一表示。

GICP 算法在优化过程中结合了概率模型，定义如下：

其中和分别表示来自高精地图元素和标记点云的一对对应点。它们的对应关系通过 ICP 算法中的最近邻搜索策略建立。和分别表示地图点和标记点云点的协方差矩阵，这些协方差矩阵在我们的语义 GICP（SG-ICP）中适当构建，以减小欠约束方向的影响。

在SG-ICP 中，概率模型是通过利用语义道路标记的语义和几何属性专门设计的。对于位于第个检测到的道路标记实例上的点，协方差矩阵的估计方法如下：

其中表示第个道路标记实例的第个点，表示这些点的质心。然后，对进行奇异值分解 (SVD)：

其中和满足。然后，构建一个矩阵，其中的值如下：

这三类道路标记的值不同，代表了沿线方向的不同约束。值越接近 1.0，沿线方向的约束越强。最终协方差矩阵可以通过以下公式计算：

高精地图中的第个语义元素表示为，其中、和分别表示地图元素的主方向、语义标签和点集。将基向量旋转到方向的旋转可以通过以下公式计算：

其中

符号表示与向量相关的反对称矩阵。对应于第个语义元素的协方差矩阵计算为：

最终，可以在语义点云和共享相同语义标签的地图元素的最近点之间建立关联。然后，将 (8) 和 (11) 中计算的对应协方差矩阵代入目标函数 (4)，以启动优化和迭代过程。SG-ICP 的概率模型表征了道路标记配准的语义和几何属性，从而提高了位姿估计的精度。

实验效果

总结一下

本文介绍了一种基于 LiDAR 的高效且鲁棒的在线环境感知和定位系统。提出的道路标记检测方法采用了新颖的自适应分割技术以提高效率，并利用时空概率局部地图确保点的密度。对于道路标记配准，提出一种SG-ICP 算法，将线性道路标记建模为嵌入二维空间的一维流形。本方法最小化了沿标记线性方向的约束影响，以解决欠约束问题，从而提高了定位精度。在真实的城市环境中进行了广泛的实验，展示了所提系统的有效性和鲁棒性，展示了其在可靠的在线环境感知和定位方面的潜力。

局限性：由于缺乏高反射点，本方法无法应用于没有地面标记的道路。未来的工作中，可以探索有效利用地上信息以提高定位的鲁棒性。