精度0.2度内！无需训练数据，端到端在线校准环视相机和LIDAR！

精度0.2度内！无需训练数据，端到端在线校准环视相机和LIDAR！

写在前面

在自动驾驶车辆的使用寿命内，传感器外参校准会因振动、温度和碰撞等环境因素而发生变化。即使是看似无害的 camera-lidar 外参校准值有一两度的误差，也可能给高级的 camera-lidar 感知功能引入灾难性的故障。

附赠自动驾驶最全的学习资料和量产经验：链接

连续在线外部校准（COEC）在自动驾驶车辆的稳健性和安全性中发挥关键作用，在操作系统失效时能够识别故障，触发纠正行为，然后继续无损运行。如图所示，在没有人员车辆服务事件的情况下，重新标定传感器系统是面向车队可扩展的安全关键传感器融合系统的要求。

原文链接：精度0.2度内！无需训练数据，端到端在线校准环视相机和LIDAR

本文提出了一种轻量级无模式在线校准算法，用于使用深度特征互信息（MI）进行鱼眼相机和激光雷达的连续在线外参标定：

• 使用深度特征互信息的端到端 COEC 流程

• 用于标定评估的自我诊断置信度度量

• 在 KITTI-360 数据集上进行的真实实验，使用原始未校正的鱼眼图像

方法

互信息测量了当了解一个变量后对另一个变量的不确定性减少的程度。在相机和激光雷达之间的外部标定的真值处，互信息的值应该是最大的。

当前有方法利用图像强度和激光雷达反射（一种强度特征）共享信息，并且可以用作相机-激光雷达外参标定的成本度量。然而，关于哪些场景共享强度特征信息没有理论和很少的一致性。图像的亮度（强度）与激光雷达测量的强度仅有松散的相关性。例如，一个深蓝色和明亮的白色路标都会返回高强度的激光雷达测量，但图像的强度会有很大的变化。这样的例子，在自动驾驶传感器数据中，显示了图像和激光雷达强度之间的不一致性是很常见的。

虚拟一个深度传感器以相机图像作为输入，并返回场景中每个像素的深度，使用单目深度估计网络实现深度估计。虚拟传感器和激光雷达之间的外参标定，也就是相机和激光雷达传感器之间的标定。如图所示，对于点云不使用强度信息，而是欧氏距离作为特征（见图2）。

如何判断优化收敛也至关重要，主要有三个简单的指标：

• 互信息的值，在外参标定的真实值处被假定为最大值

• 互信息对外参的一阶导数，在信息函数最大值时应为零

• 互信息对外参的二阶导数，反映了信息函数的峰值，并应在外参标定的正确值处为最大值。

具体算法

实验

精度表现

失效检测

展示了三个指标的数值：互信息、数值一阶导数和数值二阶导数。使用了50对图像-点云，这些图像-点云是在三分钟的驾驶片段中获取的，用于计算每个指标。在校准的真实值和1°、3°误差值处的指标数值在图4中展示。

总结一下

提出了一种利用相机单目深度估计和激光雷达深度特征之间的互信息进行连续在线外参校准的算法，其适用于汽车连续在线外参校准应用，未来的工作可以包括：

• 探索单目深度估计和激光雷达互信息的统计特性

• 了解与使用数据量的关系

• 更全面的置信度指标和强大的分类器

• 扩展到更多的相机和激光雷达模型

参考

[1] Continuous Online Extrinsic Calibration of Fisheye Camera and LiDAR