像素精度的高分辨率雷达和相机外参自标定（RAL 2021）-CSDN博客

点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

作者丨paopaoslam

来源丨泡泡机器人SLAM

标题：Pixel-level Extrinsic Self Calibration of High Resolution LiDAR and Camera in Targetless Environments

作者：Chongjian Yuan, Xiyuan Liu, Xiaoping Hong, and Fu Zhang

来源：RAL 2021

编译：廖邦彦

审核：阮建源王志勇

摘要

在该文中，我们提出了一种新的方法，以在无特定标定目标的环境下自动标定高分辨率激光雷达和RGB相机的外参。我们的方法不需要棋盘标定板，但可以通过对齐两个传感器的边缘特征来实现像素级的精度。在理论层面上，我们分析了边缘特征对于标定精度的约束情况和校准精度受场景中的边缘分布的影响灵敏度。在实现层面上，我们仔细研究了激光雷达的物理测量原理，并提出了一种高效和准确的激光雷达边缘提取方法基于点云体素切割和平面拟合。由于自然场景的边缘丰富，我们在许多室内和室外场景中进行了实验。结果显示该方法具有较高的鲁棒性、准确性和一致性。促进激光雷达与相机融合的研究和应用。我们在GitHub上开放了代码来造福社区。

主要贡献

我们仔细研究了基本的激光雷达测量原理，这表明常用的深度不连续边缘特征对于校准既不准确也不可靠。我们提出了一个新的以及可靠的深度连续边缘提取算法，从而得到更准确的校准参数。
我们评估了我们的方法在各种室内和室外环境中和实现的鲁棒性、一致性和准确性，并将我们的方法与其他最先进的方法进行了比较。结果显示我们的方法对初始条件具有鲁棒，与校准场景一致，并在自然环境中达到像素级校准精度。我们方法的精度是与（有时甚至优于）基于标定目标的方法相当，并且适用于新兴的固态和传统的旋转激光雷达。
在此基础上，我们开发了一个实用的校准软件，并在GitHub上开源，以造福社区。

方法概述

A. Overview

图2进一步说明了由单个边对外部边施加的约束数量。可以看出，激光雷达姿态相对于相机的以下自由度(DoF)不能区分

沿边缘的平移(红轴D)
垂直于边缘的平移(绿轴C)
围绕由边缘和相机焦点形成的平面的法向量旋转(蓝轴B)
围绕边缘本身的旋转(紫轴A)因此，一个单的边特征构成了两个有效的约束对于外参。

B. Edge Extraction and Matching

1) Edge Extraction

现有的一些工作是将点云投影到图像平面上，并从投影的点云中提取特征。点云投影后的特征提取的第一个主要问题是由遮挡引起的多值映射和零值映射问题。在图三中可以看到，由于遮挡物的原因，导致图三b中的投影到图像平面上的ab区域的边缘和真实点云的边缘不一致。为了避免由投影引起的零值和多值映射问题，我们直接在激光雷达点云上提取边缘特征。

边有两种类型：连续深度和不连续深度边缘。许多现有的方法使用深度不连续的边，因为它们可以很容易地通过检查点的深度来提取。然而，通过仔细研究激光雷达的测量原理，我们认为：深度不连续的边缘对于高精度的校准既不可靠也不准确。图5显示由于激光线束的散射角，导致在不该出现点的地方出现点。为了避免深度不连续边缘引起的问题，我们提出了深度连续边缘的提取方法。整个过程总结在图6中：我们首先是将点云分解为给定大小的小体素。对于每个体素，我们反复使用RANSAC来拟合和提取体素中包含的平面。然后，我们保留在一定范围内连接并形成一个角度的平面对，并求解平面交线（即深度连续边）。

如图6所示，我们的方法能够提取出多条垂直或平行于每个o的交点线在体素中。此外，通过正确地选择体素的大小，我们甚至可以提取出弯曲的边。图7显示了当使用正确的外部值叠加图像时，提取的深度连续的边缘和深度不连续的边缘之间的比较。提取深度不连续边缘的局部曲率，如[18]。可以看出，深度连续边缘更准确，噪声更小。

2) Matching

提取的激光雷达边缘需要与图像中对应的边缘进行匹配。对于每个提取的激光雷达边缘，我们在边缘上采样多个点。我们在k-D树中搜索最近邻

然后，形成的线将由直线上的点Q和法向量n参数化，n是与S的最小特征值相关的特征向量。

C. Extrinsic Calibration

1) Measurement noise

edge image measurement noise

point cloud measurement noise

bearing measurement

depth measurement

通过协方差传递，我们得到了真值和观测关系

2) Calibration Formulation and Optimization

补偿点中的噪声并利用真值将其投影到图像平面上，应该精确地位于从图像中提取的边缘。

通过迭代方法求解该非线性方程的位姿增量

应用一阶近似

将所有边缘累计一起得到

使用最大似然实现外参估计

最优解可得

3) Calibration Uncertainty

除了外参校准外，估计校准的不确定度也很有用，它可以用协方差来衡量真值和估计的误差。

D. Analysis of Edge Distribution on Calibration Result

式子（12）中的雅可比矩阵J表示残差对外参变化的敏感性。在边缘特征很少或分布不佳的情况下，J可能非常小，导致极大的估计不确定性（协方差）。

E. Initialization and Rough Calibration

为了扩大其收敛盆地，我们进一步将一个初始化阶段集成到我们的校准管道中，其中外部值通过最大化边缘对应的百分比来粗略校准

实验结果

Abstract

In this letter, we present a novel method for automatic extrinsic calibration of high-resolution LiDARs and RGB cameras in targetless environments. Our approach doesnot require checkerboards but can achieve pixel-level accuracy by aligning natural edge features in the two sensors. On the theory level, we analyze the constraints imposed by edge features and the sensitivity of calibration accuracy with respect to edge distribution in the scene. On the implementation level, we carefully investigate the physical measuring principles of LiDARs and propose an efficient and accurate LiDAR edge extraction method based on point cloud voxel cutting and plane fitting. Due to the edges’ richness in natural scenes, we have carried out experiments in many indoor and outdoor scenes. The results show that this method has high robustness, accuracy, and consistency. It can promote the research and application of the fusion between LiDAR and camera. We have open sourced our code on GitHub1 to benefit the community

本文仅做学术分享，如有侵权，请联系删文。

3D视觉工坊精品课程官网：3dcver.com

1.面向自动驾驶领域的多传感器数据融合技术

2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)
3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进
 4.国内首个面向工业级实战的点云处理课程
 5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
 6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
 7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
 8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)

9.从零搭建一套结构光3D重建系统[理论+源码+实践]

10.单目深度估计方法：算法梳理与代码实现

15.国内首个3D缺陷检测教程：理论、源码与实战

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：