针对高分辨率雷达和相机的无标定板的像素级外参自标定方法

介绍：固态激光雷达和相机的外参标定系统

摘要

这是今年的一篇针对高分辨率的固态激光雷达（非重复性扫描型）或者多线的激光雷达和相机在无标定板的环境中自动化外参标定的一篇文章。本文的方法不需要基于巧克力板，只依赖两个传感器采集的环境中的线特征就可以得到像素级精度的标定结果。在理论层面，作者分析了边缘特征提供的约束和边缘特征在场景中的分布对标定精度的影响。同时，作者分析了激光雷达的测量原理，并提出了一种基于点云体素分割和平面拟合的高精度的激光雷达点云边缘特征提取的方法。由于边缘特征在自然场景中很丰富，所以作者在室内和室外多个数据集上进行了实验并取得了不错的效果。

代码已经开源：https://github.com/hku-mars/livox_camera_calib

介绍

雷达和相机是自动驾驶车辆中常用的传感器。雷达可以直接测量环境的三维信息，所以经常被用在障碍物检测、跟踪和建图。相机可以提供丰富的颜色信息，而且能和雷达的数据互补。随着雷达的分辨率快速增长，对于精准的外参的需求也增加了。基于激光和视觉可以进行构建稠密的点云图，点云着色和精准的3D测量。

当前的标定方法还是主要基于标定板或者特殊的图像标志，通过检测、提取和匹配在图像和点云中的特征然后基于最小二乘的方法计算。传统的激光雷达如velodybe这种采用重复扫描和机械结构造成点云稀疏且噪声很大，这样可能导致代价函数产生不稳定的结果。固态激光雷达例如livox可以很好的利用非重复性扫描的特性产生稠密的点云。但由于标定的target常常放在离标定的传感器不远的地方，这就造成了在场景深度比较大的场景中，外参的标定结果可能会很差。例如在大场景中的点云着色。此外，基于特定标定目标的方法也是相对来说比较麻烦的，我们其实还是喜欢基于自然场景中的信息进行标定。

为了解决上述的问题，本文提出了一个不基于target的像素级的自动化标定的方法。系统通过检测图像和点云中的线特征，最小化重投影误差得到得到准确的外参。系统可以应用在室内或者室外的场景中，并且这种不对场景提出需求的方法可以允许我们在数据采集的任何时刻进行标定。具体来说，本文的贡献主要有：

• 作者自信的研究了lidar的测量原理，研究结果表明常用的基于深度不连续的边缘特征提取的方法不准确也不可靠。作者提出了新颖可靠的深度连续边缘的特征提取算法。

• 作者在室内和室外对本文的方法进行了评测，结果标定的结果都很准确，并在自然场景中实现了像素级的标定结果。除此之外，本文的方法同时适用与固态和传统的机械雷达。

• 作者开源了标定的代码。

相关工作

外参标定的方法主要分为两种，基于目标和自然场景标定的方法。他们之间最大的区别是如何在传感器数据中定义和检测特征。一些几何的物体和棋盘格是最常用的标定目标，因为他们对平面的法向量进行了明确的约束，而且使问题公式化起来很简单。但是由于需要额外的准备造成这种方法不实用，尤其是在需要动态变换的环境中。基于标定目标的方法主要有：

• Unified intrinsic and extrinsic camera and lidar calibration under uncertainties（2020, ICRA）

• Analytic plane covariances construction for precise planarity-based extrinsic calibration of camera and lidar（2020, ICRA）

• Automatic extrinsic calibration of a camera and a 3d lidar using line and plane correspondences(2018,  IROS)

Targetless的方法不用检测已知形状的特殊的标定物体，而是直接利用存在于自然场景中的线特征或者面特征进行标定。在Camvox: A low-cost and accurate lidar-assisted visual slam system中作者第一次把激光点投影到图像平面上（colormap），然后基于深度和反射强度给点上色。然后从上色的图中提取2D的线特征并和在图像中提取的线特征进行匹配。相似的，Automatic targetless extrinsic calibration of a 3d lidar and camera by maximizing mutual information中作者通过最大化图像和colormap的互信息来得到准确的外参。

也有一些作者直接在点云中基于深度的不连续性检测3D边缘特征，然后把3D的边缘特征投影到2D的图像平面上来计算残差。由于基于连续性检测的方法不能保证激光点云严格的落在边缘上，所以边缘检测的精度比较差。也有一些基于运动的方法，例如：Extrinsic calibration of multiple lidars of small fov in targetless environments和Online targetless end-to-end camera-lidar self-calibration都是基于运动的方式来计算外参，然后再基于环境信息优化这个外参，但是这种基于运动的方法需要比较强的激励。

本文的方法是Targetless的方法，本文直接利用了点云中检测的3D的线特征，这样就没有遮挡的问题了；同时本文提出了一个更准确和