激光雷达与相机在线标定论文笔记1——livox_camera_calib

激光雷达与相机在线标定论文笔记1——livox_camera_calib

简介：

论文标题：

Pixel-level Extrinsic Self Calibration of High Resolution LiDAR and Camera
in Targetless Environments

作者：

Chongjian Yuan、Xiyuan Liu等

作者单位：

香港理工大学

github主页：

https://github.com/hku-mars/livox_camera_calib

摘要：

作者提出了一种激光雷达与相机外参自动标定的方法，该方法通过配准两个传感器中提取的边缘特征来实现外参的计算优化，不需要标定板即可达到像素级的精度。其中LiDAR数据中的边缘提取方法主要基于体素分割与平面拟合。该方法支持室内与室外两种不同场景。

方法：

边缘特征提取

note1: 传感器观测视角差异

将点云投影到像素坐标系之后再提取边缘特征，存在以下问题：

由于相机与LiDAR安装位置不同导致的观测视角差异，会出现上图中A和B中的观测差异。（A区域相机有观测值而LiDAR无观测值，B区域LiDAR有观测值而相机无观测值。）

因此，将点云投影到像素坐标之后，提取的边缘特征会与图像存在一定的差异，从而可能导致标定结果误差较大。

故作者考虑直接在点云数据中提取边缘特征。

note2: 激光雷达多回波拖影点

如上图所示，实际的激光脉冲并不是一个理想的激光光束点，而是一条具有一定发散角的光束。

在一个具有前景和背景物体的场景中，一条激光光束可能同时被前景的边缘和背景物体反射，故同一条激光束产生了多个回波，从而在前景物体点云的边缘处产生了拖影点。

同时，对于具有较高反射率的物体，其第一条回波会占据主导地位，导致其他回波在该发射角度产生加点，造成如上图（b）中平面物体存在膨胀的情况。

这两种情况将严重影响基于深度连续性提取点云边缘特征的方法的效果。

故作者考虑使用ransac平面拟合，求取平面交叉点的方式提取物体边缘轮廓。

点云边缘特征提取步骤：

1）将点云分配到一定尺寸（如室外1m，室内0.5m）的体素中

2）在每个体素中重复利用ransanc拟合平面

3）对相邻平面求取交线以作为物体的边缘轮廓

对于图像数据，则使用Cany 算法提取边缘特征。

边缘特征匹配 

1）首先利用初始外参将激光雷达坐标系下的点云转换到相机坐标系中：

2)基于小孔成像模型及相机畸变模型，利用相机内参将相机坐标系中的3D点投影到像素坐标系

 

3） 3D点云投影到像素坐标系后的点用表示

在图像的特征像素中搜索的K近邻近点集

并进行如下计算：

 然后点集拟合出的直线由及法向量参数化表示，其中为点集协方差矩阵最小特征值对应的特征向量。

4）最后将点云中的边缘特征方向也投影到像素平面中，以该边缘特征方向与法向量的正交性作为约束。

外参标定

标定方程式

为从LiDAR点云中提取的边缘特征点，其对应的图像边缘特征由其法向量及该边缘线上的点表示。

加入观测误差补偿之后 ，利用外参真值将点投影到像素平面中，投影点理论上应该落在由表示的图像边缘特征上，因此应该满足以下方程：

是误差补偿参数。

初始化与粗标定

作者提出的基于优化的外参标定方法需要较好的初始外参估计，而通常情况下可能很难满足这个条件。为了拓宽方法的适用性，作者在这个方法流程中还添加了初始化的过程，在初始化过程中，通过最大化边缘匹配分数来粗略地计算外参初始参数：

 其中为LiDAR特征点的总点数，为与图像特征匹配上的LiDAR特征点数量。匹配主要是基于LiDAR特征点到其最近邻图像边缘特征的距离与方向特征。

粗标定过程通过在给定的范围内进行格网搜索旋转参数（搜索步长为0.5°）与平移参数（搜索步长为2cm）实现。