清华大学 | 摄像头-激光雷达的时空在线集成标定方法

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取

后台回复【多模态综述】获取论文！

后台回复【ECCV2022】获取ECCV2022所有自动驾驶方向论文！

后台回复【领域综述】获取自动驾驶全栈近80篇综述论文！                    

arXiv论文“Temporal and Spatial Online Integrated Calibration for Camera and LiDAR“，上传于2022年7月，关于清华大学的工作。

虽然摄像机和激光雷达广泛应用于大多数辅助和自动驾驶系统，但只有少数工作讨论在线传感器数据融合的摄像机-激光雷达的时间同步和外参标定。时间和空间标定技术面临着缺乏相关性和实时性的挑战。

本文介绍姿态估计模型和环境鲁棒线特征提取，提高数据融合的相关性和即时在线校正能力。动态目标消除的目的是考虑相邻时刻之间点云匹配的对应关系，寻求最优策略。搜索优化过程旨在提供具有计算精度和效率的准确参数。

在有真值的KITTI基准上进行了评估。在时间标定方面比软同步方法提高了38.5%的准确性。在空间标定中，在0.4秒内自动校正干扰误差，精度达到0.3度。这项工作可以促进传感器融合的研究和应用。

---

如图说明整个方法的架构，一共包括四个步骤：首先，通过姿态估计将摄像头和激光雷达相邻时刻之间的数据投影到同一时刻；其次，通过一系列方法提取摄像机和激光雷达的线条特征，并对其进行过滤和优化；然后，提出一种消除动态点云的方法，仅使用相邻两帧的关联，而不是基于先验信息的检测框；最后，将点云线特征投影到像素帧上，并在搜索优化期间计算和优化得分。

如图是姿态估计的方法示意图：

尽管均匀线性运动估计模型和IMU预积分模型非常接近车身坐标系运动的真值，但由于从车身坐标系的运动投影和估计激光雷达-摄像机坐标系的运动，因此不必消除误差项。这一点降低了相邻时刻 t和t+et之间投影的精度。

为了在线校正误差项的影响，在集成标定中引入了线特征。在优化的前一阶段，提取线特征纠正误差项。线特征提取过程在图像和点云中进行。如图是2-D和3-D线特征匹配的例子：

对于图像特征提取，采用灰度处理和Canny边缘化，然后用线特征提取算法。然后，引入IDT（inverse distance transformation）模型处理激光雷达点和图像点之间的一致相关性，从而采用更大的搜索步长，防止在搜索优化过程中陷入局部最优。

对于激光雷达特征提取，将点划分为不同的直线，通过距离不连续性获得边界线特征。为了在低线束激光雷达上提取足够的线特征，采用局部制图（local mapping ）方法将三帧点云合并为一帧，可以在一帧中呈现多个点。根据GPS信号的强度和自主驾驶场景的精度要求，提出两种局部制图方法：基于GPS的方法和基于正态分布变换（NDT）的方法。前一种方法计算量较小，精度较低，而后一种方法计算量较大，精度较高。

对线特征提取中的异常值会进一步滤波。激光雷达点云投影到图像平面，设计一个具有8像素边界的卷积核，滤除图像上的异常值，并从图像中获得组织好的线特征。此外，地面上的点，由于横向特征匹配不好，因此被消除。

消除动态点云目标对于特征匹配至关重要。在相邻时刻t和t+et的点云配准中，虽然静态目标在观测环境中占据主导地位，但即使是少数动态目标也会对配准精度带来严重干扰，尤其是基于点云线特征而不是基于原始点云的配准。如图就是动态目标干扰匹配的例子：

为了去除动态目标，目前广泛使用的方法是基于深度学习的目标检测。原点云和先验信息作为检测网络的输入，可以识别可能的动态目标，如车辆和行人，并返回检测框。然后对检测框中的点云进行聚类和删除，以消除动态目标。然而，该方法依赖于先验信息和额外的检测网络，这为在线集成标定带来了实时性问题。

为了解决这个问题，提出一种具有良好精度的轻量级方法。利用分割的维数信息，利用K维二叉树在多维空间中快速找到最近邻（NN）。静止目标的最近邻匹配距离较小，而动态目标的最近邻匹配距离较大，因此设置了一个阈值来滤除动态目标。由于推测在时间t的点云而不是t+et的真值，因此应该存在角度误差。根据三角相似原理，远距离动态目标需要较大的阈值滤波，因此在固定阈值设置一个因子，成为线性动态阈值。动态目标通过线性动态阈值滤波并聚类，以便进行后续分析。

---

提取激光雷达线特征并投影到图像的线特征上，然后计算投影到图像区域的激光雷达点所占比例。为了提高计算精度，根据不同的灰度比提出了四个搜索步骤，如图所示：（a-b）显示两个不同的灰度比例

为了提高计算效率，采用搜索方法优化成本函数。将当前功能分数与相邻的728个分数进行比较，如果搜索程序发现分数较高的参数，将停止当前搜索过程，并在分数较高的位置开始新的搜索过程。当达到设定的迭代次数或找到最佳分数时，该搜索过程将停止，从而能够提高计算效率。改进的算法如下算法1伪代码所示：

---

实验结果如下：

【自动驾驶之心】全栈技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D感知、多传感器融合、SLAM、高精地图、规划控制、AI模型部署落地等方向；

加入我们：自动驾驶之心技术交流群汇总！

自动驾驶之心【知识星球】

想要了解更多自动驾驶感知（分类、检测、分割、关键点、车道线、3D感知、多传感器融合、目标跟踪）、自动驾驶定位建图（SLAM、高精地图）、自动驾驶规划控制、领域技术方案、AI模型部署落地实战、行业动态、岗位发布，欢迎扫描下方二维码，加入自动驾驶之心知识星球（三天内无条件退款），日常分享论文+代码，这里汇聚行业和学术界大佬，前沿技术方向尽在掌握中，期待交流！