论文阅读：Pixel-level Extrinsic Self Calibration of High Resolution LiDAR and Camera

论文题目：Pixel-level Extrinsic Self Calibration of High Resolution LiDAR and Camera
in Targetless Environments
来源：香港大学机械工程系 南方科技大学系统设计与智能制造学院
期刊：arXiv 2021
代码：https://github.com/hku-mars/livox camera calib
摘要
在这个短文中，我们提出了一种在无目标环境下自动校准高分辨率激光雷达和RGB相机的新方法。我们的方法不需要棋盘格，但可以通过对齐两个传感器的自然边缘特征来实现像素级的精度。在理论层面上，我们分析了边缘特征所带来的约束，以及标定精度对场景中边缘分布的敏感性。在实现层面，我们认真研究了激光雷达的物理测量原理，提出了一种基于点云体素切割和平面拟合的高效、准确的激光雷达边缘提取方法。由于自然场景中边缘的丰富性，我们在许多室内外场景中进行了实验。结果表明，该方法具有较高的鲁棒性、准确性和一致性。可以促进激光雷达与相机融合技术的研究和应用。我们已经在github上开源了我们的代码，以造福于社区。

主要贡献：

1. 我们仔细研究了激光雷达的测量原理，发现常用的深度不连续边缘特征在标定时既不准确也不可靠。我们提出了一种新颖可靠的深度连续边缘提取算法，可以获得更精确的校准参数。
2. 我们评估了我们的方法和实施在各种室内和室外环境中的稳健性、一致性和准确性，并将我们的方法与其他先进的方法进行比较。结果表明，该方法对初始条件具有较强的鲁棒性，且与标定场景一致，在自然环境下实现了像素级的标定精度。所提方法有时的标定精度优于基于标定板的方法，并且能够扩展到固态和传统旋转的激光雷达上。
3. 将算法开源并将源码上传到github上。

相关工作：
很多工作是通过将激光雷达投影到图像中，进一步使用深度或者反射率来渲染颜色图，进一步对2D颜色图提取边缘信息，匹配边缘信息得到转换矩阵。另外的工作是在三维场景中先提取三维线段，进一步投影到二维空间进行边缘对齐，但受限于当时线段提取质量，效果不佳。

方法实现部分： 该方法是基于三维点云提取三维直线特征，进一步投影到二维图像空间，在图像空间迭代计算最优的场景线边缘匹配。分为粗匹配和精匹配两个阶段：

粗匹配：
粗配准阶段是大致关联三维线和二维线特征，关联的函数是：

Nsum表示LiDAR边缘点的数量，Nmatch表示的是匹配上的LiDAR边缘点数量。匹配是基于LiDAR点投影到图像上后距离直线的方向和距离来评价的，初始匹配阶段基于网格搜索遍历所有种可能的转换参数，旋转网格大小为0.5度，平移网格大小为2cm。

精匹配部分：
1. 首先从三维点云中提取直线特征，进一步在三维点云中对直线上的点进行采样，基于粗匹配计算得到的转换矩阵，将三维边缘点投影到二维图像空间中(针孔相机投影模型)。

2. 构建数据观测误差模型：对各个观测模型构建严密的误差模型，包括图像边缘提取误差模型，激光雷达bearing direction误差模型：

构建深度测量误差模型：

从而得到点位观测与实际点位的分布关系方程：

3. 标定方程与优化：三维线上的采样点投影到二维图像上后，对应的投影点位应与二维图像上的直线满足如下关系式：

对所有检测到的边缘三维点投影后，利用非线性优化的方式求解感兴趣的未知参数，未知参数包括：二三维配准参数和观测噪声。

实验结果：

多个场景下外参计算误差都在一个像素内。

粗配准+精配准，将三维点投影到图像上。