丢掉标定板！用线特征也能完成鲁棒的激光雷达和相机外参标定！

作者：K.Fire  | 来源：3D视觉工坊

在公众号「3D视觉工坊」后台，回复「原论文」即可获取论文pdf。

添加微信：dddvisiona，备注：自动驾驶，拉你入群。文末附行业细分群。

为了解决外参逐渐漂移的问题，提出了一种基于线的方法，可以在真实场景中实现激光雷达和相机的自动在线外参标定。首先，从点云和图像中提取和过滤线特征。然后，利用自适应优化方法提供精确的外部参数。然后在KITTI基准上用地面真值对其进行了评估。实验验证了标定方法的准确性。在数百帧的在线实验中，本文提出的方法自动校正了误标定误差，达到了0.2度的精度，验证了它在各种场景下的适用性。

1 引言

本文提出的目的：

1. 传统的手动校准方法需要专门设计对象，如标定板或手动选择点，这导致校准过程繁琐。

2. 长时间的运行和不同的载荷会导致外部参数的轻微漂移和累计误差，因此需要自动在线标定对其进行调整。

本文主要贡献：

• 提出了一种能在线自动估计六自由度(6-DOF)参数的外参标定方法。该方法利用一般的直线特征减少了传感器之间的漂移误差，不需要人工选择点和特殊目标，因此能够适用于任何给定的场景。

• 提出了一种点云线提取方法，利用点云处理方法过滤噪声数据，准确提取线特征。

• 引入自适应优化方法和结果置信度估计方法，实现了向正确方向优化和高效计算标定结果。这里也推荐「3D视觉工坊」新课程《如何学习相机模型与标定？（代码+实战）》。

2 算法概述

提出的方法分为三个步骤：

1. 在图像和点云的特征提取之前进行一系列的预处理

2. 从图像和点云中提取线特征，通过特征滤波进行细化

3. 最后，通过对初始外部参数添加小扰动，将点云线特征投影到像素帧上，并对每个扰动的得分进行计算和优化

本文的算法框架如下：

3 算法框架

3.1 问题表述

激光雷达与相机的外参标定问题在于确定两者之间正确的变换矩阵。将问题定义为求旋转角向量θ=(θx;θy;θz)，平移向量t=(tx,ty,tz)；点云记为，图像记为，表示点I和像素ij在第t帧的值。通过将LiDAR点投影到图像上计算成本分数，目标函数定义为:

其中每个LiDAR点分别迭代水平特征和垂直特征。系数α对水平和垂直线特征赋予不同的权重。本文将α赋值为0.65，以增强对水平误差的约束。另外，w是滑动窗口的大小。考虑之前的w帧，计算第t帧的分数。

通俗的说就是：将激光雷达点检测到的水平线特征和竖直线特征分别通过转换矩阵T，变换到相机坐标系中，然后投影到图像上，然后通过一个在图像上的滑动窗口计算得分。

3.2 图像处理

在图像处理中，首先将RGB图像转换为灰度图像；然后通过[1]中的线特征提取算法进行线特征提取；然后对灰度图像进行距离变换。

下图展示了这个过程。

图(b)中的白色边缘和图(c)中的白色线条分别代表聚类的边缘特征和线特征。如图(b)所示，应用距离变换模型后，聚类后的边缘特征更加无序。相反，图(c)中的线特征组织得更好，产生的灰度变化更小。它可以允许更大的搜索步长，从而防止优化过程进入局部解决方案。

白色像素表示提取的特征，灰度变化表示到边缘或线特征的距离。像素越白，越接近这些线特征的中心

3.3 雷达处理

在激光雷达处理中，其原理是利用距离不连续性来获得更多的边线特征。为了实现这一目标，采用局部映射的方法，将三帧点云合并为一帧，使一帧能呈现更多的点。具体来说，利用NDT方法计算当前帧和前两帧之间的变换矩阵。

在单帧和三合一帧中提取的边界线点对比如下图所示。图(a)显示了通过将三帧点云转换为一帧点云得到的更密集的点云，与图(b)中的另一帧点云相比，可以显示更多的点。这可以提高提取性能，特别是在应用低光束激光雷达时。

然后将更密集的点云转换成图像，每个像素存储对应雷达点的距离信息。通过比较当前点与相邻点之间的距离，消除离相邻点太远的离群点，提取出更精确的线特征。需要注意的是，本文考虑了多个激光束之间的距离信息。这使得可以提取水平特征，从而使用线特征最小化水平和垂直误差。水平线特征和垂直线特征分别存储在两个不同的点云中。在此设置中，忽略了很少出现的平面相交线特征，有利于提高计算效率。

3.4 特征过滤

在上面的处理之后，得到了无序的线特征。下面采用两步过滤方法来消除异常值。

第一步：由于点云已经转换成图像形式，因此设计了一个卷积核来过滤掉距离所有八个相邻点超过一定阈值的点。这种过滤方法可以去除所有的异常点以及与地面对应的点。剩余的特征可以被识别为线特征。

过滤前后的线特征如下图所示。

第二步：使用聚类算法去除相邻点很少的线特征，剔除短于8像素的线特征。

以上两个过滤步骤可以提供更有条理的点云线特征，保证后续步骤的优化效果更好

3.5 自适应优化

在优化之前，已经将LiDAR线特征提取到图像上，并计算投影到灰色区域的LiDAR点的比例。

为了准确地找到解，采用了两个搜索步骤。

1. 首先，为了防止搜索陷入局部解，采用图像线特征宽、灰度变化小、步长相对较大的粗糙搜索，可以快速发现可能包含最佳解的区域。

2. 然后，应用更细的图像线特征和更大的灰度变化，以及更小的步长，以获得更精确的校准结果。

当激光雷达点投射到灰色区域的比例超过一定阈值时，就会发生这两步大小和灰度变化之间的切换。

---

为了提高计算效率，提出了一种自适应优化方法，使优化向着正确的方向进行。

将当前像素得分与相邻的728个得分进行比较。在此过程中，如果搜索程序发现得分较高的参数，则停止当前搜索过程，并在得分较高的位置开始新的搜索过程。此外，当达到设定的迭代次数或找到最佳分数时，该搜索过程将停止，从而可以提高计算效率。另外，还使用滑动窗口来设置优化过程中需要考虑的帧。在本文中，为了防止从错误的方向进行优化搜索或陷入局部最优解，使用了三帧。因此，最终优化的外部参数应该在滑动窗口的所有帧中都超过其他参数。

4 实验与结果

在KITTI数据集的不同场景下进行了两次实验。

4.1 精度分析

图(a)和(b)给出了实验一的结果，图(c)和(d)给出了实验二的结果。在这两个实验中，在X、Y、Z轴上增加了1度的旋转偏置，并对地面真值参数增加了0.05米的变换偏置。然后，每10帧添加0.5度的旋转偏差。需要指出的是，1度旋转偏置是正还是负是随机的。实验将标定误差与地面真实值进行了比较。此外，还测试了检测误校准的能力和纠正偏差的速度。

在不计算人为误差的情况下，横摇、俯仰、偏航的最大误差始终在0.5度以内。由于激光雷达具有较高的水平分辨率，偏航的校准结果最为精确。尽管激光雷达在垂直方向上的分辨率要低得多，并且该方向上的3D特征呈现频率较低，但由于采用了自适应优化算法，并且该方向的权重较高，因此所提出方法仍然可以达到较高的精度。总体而言，在所有维度上的平均旋转误差为0.12度，低于大多数离线校准技术。

4.2 纠错速度分析

在上图(a)和(b)中，黑色箭头1、2、3和4指向添加偏差的框架。对于箭头1和3提出的方法立即纠正了偏差，而没有显示置信度下降，而对于黑色箭头2和4，红色部分在两帧内变为绿色(图(a))，这意味着偏差在两帧内得到了纠正。实验二也出现了同样的情况(图(c)和(d))。这里也推荐「3D视觉工坊」新课程《如何学习相机模型与标定？（代码+实战）》。

在KITTI数据集上更多场景下的整体校准结果如下图所示，说明本文方法适用于不同场景。

5 总结

本文提出了一种在线自动标定激光雷达和相机外部参数的方法。与以前的自动化方法不同，这种新的校准方法不需要在场景中放置标记。作者证明了点云和图像的线特征是校正校准偏差的鲁棒特征。人为添加的偏置可以在一到两帧内得到纠正，比其他方法更快。此外，文中还说明了当前校准结果的置信度可以计算，并进一步用于提高计算效率和精度。

未来的工作希望评估提取的线特征的准确性，以减少特征较少的场景中的校准偏差。利用蒙特卡罗方法可以提供初始参数。

6 参考文献

[1]R. G. Von Gioi, J. Jakubowicz, J.-M. Morel, and G. Randall, “Lsd: a line segment detector,” Image Processing On Line, vol. 2, pp. 35–55, 2012.

—END—

高效学习3D视觉三部曲

第一步 加入行业交流群，保持技术的先进性

目前工坊已经建立了3D视觉方向多个社群，包括SLAM、工业3D视觉、自动驾驶方向，细分群包括：[工业方向]三维点云、结构光、机械臂、缺陷检测、三维测量、TOF、相机标定、综合群；[SLAM方向]多传感器融合、ORB-SLAM、激光SLAM、机器人导航、RTK|GPS|UWB等传感器交流群、SLAM综合讨论群；[自动驾驶方向]深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器讨论群、多传感器标定、自动驾驶综合群等。[三维重建方向]NeRF、colmap、OpenMVS等。除了这些，还有求职、硬件选型、视觉产品落地等交流群。大家可以添加小助理微信: dddvisiona，备注：加群+方向+学校|公司, 小助理会拉你入群。

添加小助理微信：cv3d007, 拉你入群

第二步 加入知识星球，问题及时得到解答

针对3D视觉领域的视频课程（三维重建、三维点云、结构光、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、源码分享、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答等进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业、项目对接为一体的铁杆粉丝聚集区，6000+星球成员为创造更好的AI世界共同进步，知识星球入口：「3D视觉从入门到精通」

学习3D视觉核心技术，扫描查看，3天内无条件退款

高质量教程资料、答疑解惑、助你高效解决问题

第三步 系统学习3D视觉，对模块知识体系，深刻理解并运行

如果大家对3D视觉某一个细分方向想系统学习[从理论、代码到实战],推荐3D视觉精品课程学习网址：www.3dcver.com

基础课程：

[1]面向三维视觉算法的C++重要模块精讲：从零基础入门到进阶

[2]面向三维视觉的Linux嵌入式系统教程[理论+代码+实战]

[3]如何学习相机模型与标定？（代码+实战）

[4]ROS2从入门到精通：理论与实战

[5]彻底理解dToF雷达系统设计[理论+代码+实战]

工业3D视觉方向课程：

[1]（第二期）从零搭建一套结构光3D重建系统[理论+源码+实践]

[2]保姆级线结构光（单目&双目）三维重建系统教程

[3]机械臂抓取从入门到实战课程（理论+源码）

[4]三维点云处理：算法与实战汇总

[5]彻底搞懂基于Open3D的点云处理教程！

[6]3D视觉缺陷检测教程：理论与实战！

SLAM方向课程:

[1]深度剖析面向机器人领域的3D激光SLAM技术原理、代码与实战

[1]彻底剖析激光-视觉-IMU-GPS融合SLAM算法：理论推导、代码讲解和实战

[2]（第二期）彻底搞懂基于LOAM框架的3D激光SLAM：源码剖析到算法优化

[3]彻底搞懂视觉-惯性SLAM：VINS-Fusion原理精讲与源码剖析

[4]彻底剖析室内、室外激光SLAM关键算法和实战(cartographer+LOAM+LIO-SAM)

[5]（第二期）ORB-SLAM3理论讲解与代码精析

视觉三维重建

[1]彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进)

自动驾驶方向课程：

[1] 深度剖析面向自动驾驶领域的车载传感器空间同步（标定）

[2] 国内首个面向自动驾驶目标检测领域的Transformer原理与实战课程

[3]单目深度估计方法：算法梳理与代码实现

[4]面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)

[5]如何将深度学习模型部署到实际工程中？（分类+检测+分割）

最后

1、3D视觉文章投稿作者招募

2、3D视觉课程（自动驾驶、SLAM和工业3D视觉）主讲老师招募

3、顶会论文分享与3D视觉传感器行业直播邀请