Pixel-level Extrinsic Self Calibration of High Resolution LiDAR and Camera in Targetless Environment

论文链接：https://arxiv.org/pdf/2103.01627.pdf
代码链接：https://github.com/hku-mars/livox_camera_calib

主要内容

本文提出了一种不依赖于棋盘格等辅助标定物体，实现像素级相机和激光雷达自动标定的方法。

方法

直接从点云中提取3D边特征，以避免遮挡问题，并且使用了精确度更高的深度连续边。
文中首先指出：以下四种变换方式区分性能不好，提供的约束效果不好：

进一步指出将点云投影到图像平面再提取特征的问题主要在于相机和激光雷达视野遮挡形成的零值映射和多值映射：

因此本文直接从点云中提取线特征。
目前的大部分工作是针对深度不连续的线特征展开的，因为它们根据深度信息的不同可以被轻松的区别出来，但是这种方法的准确性不如深度连续的线特征，由于激光雷达发射的是光束(beam)而不是理想的点，会存在foreground inflation和bleeding points现象：

边缘提取

因此本文采用深度连续的边特征，首先将点云分成特定尺寸的小体素。针对每一个体素，我们重复地使用RANSAC来适配和提取包含在体素中的点进行平面拟合，我们保留夹角在30-150度之间的，连接的平面对，并且求出其交线，如图4中的深度连续边，作为其边特征。我们的方法可以提取出或平行或垂直的边缘。更进一步，选择适当的体素大小，我们的方法甚至可以提取曲线边缘。

对于图像中的边缘提取，我们采用了Canny算法，边缘的像素被保存到了k-D tree中，进行匹配。

边缘匹配

激光雷达提取的边需要和图像中的边做相应的匹配，激光雷达的点到相机平面的变换可以用如下的式子进行表达：
$${}^C{P}_i{=}_L^C{P}_i{(}^L{P}_i)\in {\mathbb{R}}^3$$
进一步将${}^C{P}_i$投影到图像坐标系下：
$${}^C{p}_i=\pi {(}^C{P}_i)$$
$\pi (P)$是针孔相机的投影模型，经过畸变处理后的投影点真实位置$p_i=(u_i,v_i)$:
$$p_i=f{(}^C{p}_i)$$
这里$f(p)$是相机的畸变模型。
我们在图像边构建好的k-d树中寻找$p_i$的前k个最近邻，记为 Q i = { q i j ; j = 1 , . . . , k } Q_i=\{q_i^j;j=1,...,k\} Qi​={qij​;j=1,...,k},并且记：
$$q_i=\frac{1}{k}\sum _{j=1}^k{q}_i^j;S_i=\frac{1}{k}\sum _{j=1}^k(q_i^j-q_i)(q_i^j-q_i{)}^T$$
由$Q_i$组成的线，被$q_i$和$n_i$两个参数所确定，$n_i$是$S_i$最小特征值对应的特征向量。
同时，将雷达点云边的方向信息投影到图像平面上，验证其和$n_i$的正交性，可以有效减少两条接近的非平行直线的误匹配。匹配结果如下图所示：

外参标定

测量噪声

提取出的雷达点${}^L{P}_i$和和对应的边特征$(n_i,q_i)$在图像平面中，会受到测量噪声的影响。记${}^I{w}_i\in \mathcal{N}(0{,}^I{\sum }_i)$为图像边缘提取中关于$q_i$的噪声，它的协方差记为${}^I{\sum }_i={\delta }^2{I}_{2\times 2}$，${\delta }_I=1.5$表示像素误差。
对于雷达点${}^L{P}_i$，记${}^L{w}_i$为它的测量噪声。事实上，激光雷达通过扫描电机的编码器来计算方向，通过光的飞行时间计算深度。记$w_i\in \mathbb{S}$为方向，$\delta w_i\sim \mathcal{N}(0_{2\times 1},{\sum }_{w_i})$是$w_i$的正切平面上的测量噪声。使用在$\mathbb{S}$中封闭的运算符$田$，得到了$w_i$和真值$w_i^{gt}$之间的关系：
$$w_i^{gt}=w_i{田}_{{\mathbb{S}}^2}{\delta }_{w_i}\triangleq e^{{\lfloor N(w_i{\delta }_{w_i})\times \rfloor }_{w_i}}$$
这里，$N(w_i)=[N_1{N}_2]\in {\mathcal{R}}^{3\times 2}$是$w_i$处切平面的正交基，$\lfloor \times \rfloor$表示向量叉积对应的偏对称矩阵，$田$表示在$w_i$的切平面关于${\delta }_{w_i}$轴旋转$w_i$的操作。
类似的，记$d_i$为关于深度的测量，${\delta }_{d_i}\sim \mathcal{N}(0,{\sum }_{d_i})$为其误差值，然后深度的真值可以表示为：
$$d_i^{gt}=d_i+{\delta }_{d_i}$$
结合上面两个式子，我们可以得到点位置的真值${}^L{P}_i^{gt}$和测量值${}^L{P}_i$之间的关系：

所以：

这个误差模型可以用于产生一致性的外参标定。

标定的形式化和优化

从雷达点云中提取出来的边缘点${}^L{P}_i$可以用投影到图像中的对应边上点$q_i\in {\mathbb{R}}^2$以及法线向量$n_i\in {\mathbb{S}}^1$.进行表示，对${}^L{P}_i$的噪声进行补并且使用真实外参进行补偿，${}^L{P}_i$的投影应该刚好落在$(n_i,q_i)$

上式说明一个雷达边缘点对外参提供一个约束，和上述的一个边特征对外参提供两个约束一致，因为一条边特征包含两个独立的点。同时，上式为外参${}_L^{C}T$，${}^L{P}_i,n_i,q_i$和未知的噪声${}^L{w}_i{,}^I{w}_i$提供了一个非线性不等式。这个非线性不等式可以通过迭代求解：记${}_L^C\overline{T}$为当前的外参估计，使用运算符$田$在${}_L^C\overline{T}$的切平面参数化${}_L^{C}T$：
$${}_L^{C}T{=}_L^C\overline{T}{田}_{SE(3)}\delta T\triangleq Exp(\delta T){\cdot }_L^C\overline{T}$$
这里：

将上一个等式代入上上个等式可得：

这里：


定义了一条边对应的约束，使用全部的$N$条边可以得到下面的等式：

这里：

上式说明：

根据上式，我们提出了极大似然的外参估计（也是最小化差值v）如下：

优化的方向是：

对当前的${}_L^C\overline{T}$进行更新：
$${}_L^C\overline{T}{\leftarrow }_L^C\overline{T}{田}_{SE(3)}\delta T^{\ast }$$
不断进行迭代，直至$||\delta T^{\ast }||<ϵ$，${}_L^C\overline{T}$就是所求的标定外参。

标定不确定性

除了对外参进行估计，计算真实值与估计值之间误差的协方差也很有必要。为了达到这个目的，我们在全部的$N$条边的等式约束两边同乘,$J_T^T(J_w\sum J_w^T)$然后解得$\delta T$为：

进一步求得协方差矩阵：

边缘分布对标定结果的影响的分析

实验结果：

参考链接：泡泡机器人