自动驾驶的“地平线”革命：Galibr无需目标即可融合激光雷达与相机，SLAM校准再升级！

最新推荐文章于 2024-08-09 15:18:31 发布

深蓝学院

最新推荐文章于 2024-08-09 15:18:31 发布

阅读量1k

点赞数 20

文章标签：自动驾驶 SLAM 激光雷达

本文链接：https://blog.csdn.net/soaring_casia/article/details/140380252

版权

论文标题：

Galibr: Targetless LiDAR-Camera Extrinsic Calibration Method via Ground Plane Initialization

论文作者：

Wonho Song, Minho Oh, Jaeyoung Lee, Hyun Myung

导读：

本研究提出了一种面向自动驾驶和SLAM技术的无需目标物的LiDAR-相机外参标定方法——Galibr。Galibr利用地面平面和来自LiDAR与相机输入的边缘信息，通过两个主要步骤实现标定：基于地面平面的初始姿态估计（GP-init）和通过边缘提取与匹配的精细化标定阶段。该方法在包括KITTI数据集和KAIST四足数据集在内的非结构化自然环境中进行了测试，验证了其优越的性能和实际应用的可行性。Galibr的提出，为多模态传感器在动态和变化环境中的精确对准提供了一种便捷、高效的解决方案。©️【深蓝AI】编译

1. 摘要

随着自动驾驶和SLAM技术的快速发展，多模态传感器自动驾驶系统的性能高度依赖于精确的外部标定。为了解决在任何自然环境下方便、维护友好的校准过程的需求，本研究提出了Galibr——一种为任何自然环境下的地面车辆平台设计的全自动无目标激光雷达相机外部校准工具。该方法利用来自激光雷达和相机输入的地平面和边缘信息，简化了校准过程。Galibr主要包括两个步骤:基于地平面的初始姿态估计算法（GP-init），以及通过边缘提取和匹配的细化阶段。

本文的主要贡献如下：

●Galibr自动化标定方法提出：提出了一种名为Galibr的全新自动化、无需目标物的LiDAR-相机外参标定方法，适用于任何自然环境和地面车辆平台；

●基于地面平面的初始姿态估计：开发了一种利用地面平面的初始姿态估计算法（GP-init），通过从地面获取的相对初始姿态来提高Galibr系统的性能；

●边缘匹配精细化标定：通过非地面物体边缘的提取和匹配来增强标定精度，充分利用了LiDAR和相机输入的详细边缘数据；

●快速标定：与其他现有的LiDAR和相机外参标定方法相比，Galibr在计算速度上具有优势，实现了快速的标定过程。

2. Galibr核心介绍

Galibr是一种新颖的、自动的、通过地平面初始化的无目标外部校准方法，该方法利用地平面的稳定性为传感器对准提供鲁棒的初始值，并使用边缘匹配进行细化，从而促进更精简和维护友好的校准方法，该校准方法示意如图1所示。这种方法具备强大的环境适应能力，且被设计为在运动中执行，在便利性和效率方面具备显著优势。

在这里插入图片描述
图1｜Galibr概述©️【深蓝AI】编译

Galibr的校准程序要求平台在任何环境下都处于运动状态，以估计每个传感器的姿态。整个Galibr系统由两个主要步骤组成：利用地平面的初始姿态估计步骤，称为GP-init，以及使用边缘匹配的外部校准步骤，Galibr系统流程如图2所示。其中GP-init包含每个传感器的地面特征提取模块和相对姿态估计模块，进行外部校准以匹配从每个传感器提取的边缘。Galibr与现有的通常需要初始值的激光雷达和相机外部校准方法不同，该方法侧重于利用地平面特征估计初始相对姿态，该方法采用两步估计，即初始姿态估计步骤和外部定标步骤，输出的外部定标结果更加准确和鲁棒。

在这里插入图片描述
图2｜Galibr系统流程©️【深蓝AI】编译

2.1 GP-init相机模块

GP-init相机模块的运动体姿态估计和地平面提取方法结合了运动结构恢复（SfM）、基于RANSAC的地平面估计、垂直对齐以及相对姿态估计。

具体流程为以下步骤：

1）使用SfM提取3D地面特征，其中运动方向矢量 $v^{c}$ 由归一化增量位置矢量 $\Delta p^{c}$ 与缩放比例 $s$ 进行表示，具体式子如下：

$v^c=\frac{s\cdot\Delta p^c}{\|\Delta p^c\|}$

SfM提取的地面特征结果如图3所示。

在这里插入图片描述
图3｜Sf地面特征提取结果（红点）©️【深蓝AI】编译

2）基于SfM估计的三维地面特征，利用RANSAC算法提取相机坐标下的地平面。通过最大化初始共识集，找到最优平面参数 $n^{c}=[a^{c},b^{c},c^{c},d^{c}]$ 。

3）为了使运动体运动与地平面对齐，我们使用阈值 $\epsilon^{c}$ 寻找从 $t^c_1$ 到 $t^c_2$ 的滑动窗口上的地平面 $n^c$ 的法向量，通过确保相机的方向向量 $v^c$ 和地平面的法向量 $n^c$ 之间的点积保持在一定的阈值以下来识别平面地面，搜寻约束为：

$\sum_{t=t_1^c}^{t_2^c}\left(v^c\cdot n^c\right)_t\leq\epsilon^c$

这个条件确保了相机系统的运动与地平面紧密对齐，有助于确认地平面的平面性，确保相机运动与地平面的稳定对齐。

4）相对位姿计算。设地面与相机之间的相对姿态为 $T^c_g$ ，缩放尺度为 $z^c$ ，横滚角为 $\theta_{\mathrm{roll}}^c$ ，俯仰角为 $\theta_{\mathrm{pitch}}^c$ ，则有以下表达式：

$\begin{aligned} z^{c}& =s\cdot d^{c}, \\ \theta_{\mathrm{roll}}^c& =\arctan2\left(-b^{c},c^{c}\right), \\ \theta_{\mathrm{pitch}}^{c}& =\arctan2\left(-a^{c},\sqrt{b^{c^{2}}+c^{c^{2}}}\right) \end{aligned}$

姿态 $T_g^c=(R_g^c,p_g^c)$ ，其中 $R^c_g$ 为旋转矩阵， $p^c_g$ 为从地面到摄像机的位置向量。

2.2 GP-init雷达模块

在相对于地面的相对姿态估计方法中，激光雷达的里程估计是由具有恒定速度模型的迭代误差状态卡尔曼滤波器（IESKF）发起的。继而利用TRAVEL方法提取地面特征，TRAVEL是最先进的地面和非地面分割方法，区分地面和非地面点云，并聚类非地面物体。使用RANSAC算法估计地平面，确保了激光雷达的运动方向与地平面对齐。该步骤同样需要在滑动窗口上保持地平面法向量和LiDAR里程计方向向量的点积低于预定义阈值，即有如下约束：

$\sum_{t=t_1^l}^{t_2^l}\left(v^l\cdot n^l\right)_t\leq\epsilon^l,\quad v^l=\frac{\Delta p^l}{\|\Delta p^l\|}$

其中， $v^l$ 为激光雷达的运动方向矢量， $n^{l}=[a^{l},b^{l},c^{l},d^{l}]$ 为激光雷达坐标中的地平面参数， $\Delta p^{l}$ 为激光雷达的增量位置矢量， $\epsilon^l$ 为对准阈值。为了确保LiDAR系统的运动与地平面紧密对齐，我们使用阈值 $\epsilon^l$ 找到了从 $t^l_1$ 到 $t^l_2$ 的滑动窗口上的地平面 $n^l$ 的法向量。使用TRAVEL技术的激光雷达地面特征提取结果如图4所示。

在这里插入图片描述
图4｜使用LiDAR里程计和TRAVEL提取地面特征结果（黑点）©️【深蓝AI】编译

雷达的相对姿态估计与相机所使用的方法类似，需要确定激光雷达相对于地平面的姿态。表示LiDAR相对于地面姿态的变换矩阵 $T^l_g$ 由从地面到雷达的旋转矩阵 $R^l_g$ 和从地面到雷达的位置向量 $p^l_g$ 组成：

$T_g^c=(R_g^c,p_g^c)$

2.3 基于边缘匹配的外部校准

给定从地面到相机的变换矩阵 $T^c_g$ 和从地面到激光雷达的变换矩阵 $T^l_g$ ，可以估计激光雷达到相机的初始相对姿态，记为 $T^l_c$ 。数学上，这可以表示为下述公式：

$T_l^c=(T_g^l)^{-1}T_g^c$

该操作有效地链接了相对转换，将姿态从地面帧转换为激光雷达帧，然后从激光雷达帧转换为相机帧，从而产生所需的从激光雷达到相机的初始相对姿态。

而 $T^l_c$ 则可表示为：

$T_c^l=(T_g^c)^{-1}T_g^l$

其中 $T_g^c)^{-1}$ 表示从相机到地面的变换矩阵的逆，将参考点从地面重新定位到相机帧。

对于LiDAR点云和图像的边缘提取，本研究使用边缘提取方法ELSED进行图像边缘检测，使用非地面分割的点云进行LiDAR边缘检测。边缘检测示例如图5所示，利用初始相对位姿 $T^l_c$ 将LiDAR非地面目标投影到图像平面上，便于边缘点的识别。当从LiDAR点云中提取边缘时，需注意在图像中观察到的实际边缘可能与LiDAR检测到的边缘不完全对齐，如图6所示。这种差异的产生是因为大多数使用边缘进行外部校准的现有方法使用的是LiDAR视图中的LiDAR边缘，这可能与真实图像边缘不直接对应。为了缓解这一问题，采用初始相对位姿 $T^l_c$ 将LiDAR非地面物体投影到图像平面上，使LiDAR检测到的边缘与实际图像边缘之间能够更准确地对齐和比较。边缘表示的差异强调了仔细校准激光雷达和相机之间的相对姿态的重要性，以确保两种模式下基于边缘的特征的保真度。投影形式化为：

$X^c=K(T_c^lX^l)$

其中， $X^c$ 和 $X^l$ 分别为图像和LiDAR帧中点的齐次坐标， $K$ 为相机的内参矩阵。

在这里插入图片描述
图5｜激光雷达点云图像中的边缘检测示例和目标提取示例©️【深蓝AI】编译

在外部校准优化过程中，目标是微调初始变换矩阵 $T^l_c$ ，使激光雷达和相机帧对齐。我们将3D遮挡边缘点 $E^l_i$ 到图像中相应的2D边缘线 $E^c_i$ 的重投影误差最小化。将优化问题表述为PnP问题，数学形式表示为如下公式：

$\xi^{*}=\underset{\xi}{\mathrm{argmin}}\sum_{i}\rho_{i}\left(\left\|f_{r}\left(\pi\left(\exp(\xi)\circ T_{c}^{l}\circ E_{i}^{l}\right),E_{i}^{c}\right)\right\|\right)^{2}$

其中，ξ表示所要优化的外在参数对应的李代数元， $f_r$ 表示点到直线的垂直距离函数， $\rho_i$ 是一个鲁棒的代价函数，如Huber核，有助于减轻异常值的影响。投影 $\pi$ 使用初始猜测 $T^l_c$ 和更新的变换 $e x p (ξ)$ 将3D LiDAR点映射到2D图像平面上。利用Levenberg-Marquardt (LM)算法迭代求解该优化，改进ξ的估计，直到满足收敛准则。结果是优化的外部标定矩阵 $T_{c}^{l^{*}} = \exp(\xi^{*}) \circ T_{c}^{l}$ ，它代表了LiDAR与相机坐标系之间最精确的转换。

3. 实验

本研究的重点是在非结构化的自然环境中开发一种自动、鲁棒的外部校准方法，该方法在非结构化自然环境中与其他方法相比具备更强的性能优势。为评估外部校准性能，本研究使用了KITTI数据集以及团队自己收集的数据集(称为KAIST四足数据集，包括Ouster OS0-128和Intel RealSense D435i，该四足平台如图7所示)上进行了测试。

3.1 性能对比

本研究评估了Galibr和基线方法的性能，包括X. Liu提出的方法（出自文章Targetless Extrinsic Calibration of Multiple Small FoV LiDARs and Cameras using Adaptive Voxelization）、F. Chen提出的方法（出自文章PBACalib: Targetless extrinsic calibration for high-resolution LiDAR-camera system based on plane-constrained bundle adjustment）和K. Koide提出的方法（出自文章General, singleshot, target-less, and automatic LiDAR-camera extrinsic calibration toolbox），具体结果如表1所示。其中Koide提出的方法是一种深度学习方法，为此使用了在MegaDepth数据集上训练的相同权重，确保了不同方法之间的公平比较。我们使用传统的旋转激光雷达和仅使用激光雷达里程计的累积点云来评估这些方法，这些方法虽也具备较为精准的标定性能，但在没有严密人工结构的粗糙地形的非结构化环境中很难使用；此外，在KAIST四足动物数据集测试中，只有Koide实现了标定任务，其他方法无法估计KAIST四足动物数据集中的外部校准矩阵。相比之下，本研究提出的使用GP-init的方法在两个数据集上都取得了最高的精度。

3.2 消融实验

本研究针对是否使用GP-init进行了消融实验，以说明所提出的方法能够在使用初始姿态估计步骤提高性能。GP-init有助于估计准确和稳健的初始值，并提高了结果的准确性，具体结果仍见表1，可视化结果如图8、图9所示，图中显示了将非地面LiDAR点云数据整合到相应相机图像上的融合图像。第一行为不使用GP-init方法的外部校准结果，第二行为使用GP-init方法的结果。不执行GP-init时，非地面对象有些不对齐。当Galibr步骤全部执行时，可视化结果在两个数据集中显示高度一致的结果。