充分发挥大模型潜力！同济MIAS-LCEC：激光相机在线标定新SOTA-CSDN博客

作者 | Zhiwei Huang 编辑 | 3D视觉之心

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

>>点击进入→自动驾驶之心『传感器标定』技术交流群

本文只做学术分享，如有侵权，联系删文

在线标定的难点

现有的激光雷达和相机间外参标定（LiDAR-Camera Extrinsic Calibration, LCEC）方法主要分为基于目标和无目标两类，取决于算法是否需要来自RGB图像和LiDAR点云的预定义特征：

基于目标的方法：最先进的LCEC方法通常是离线的，依赖于定制的标定目标（通常是棋盘格），这些目标可以提供明确、可识别的特征，可以在LiDAR和相机数据中轻松识别。但是，对定制目标的依赖和额外设置的需求使其在机器人在动态变化的环境中操作时显得不切实际。
无目标的方法：主要有基于线/边缘特征的方法（通过在LiDAR点云和RGB图像中提取线或边缘特征，并匹配这些跨模态的边缘特征来确定两个传感器之间的相对位姿）、基于点特征的方法（依赖于2D图像像素和3D LiDAR点在强度或深度上的显著变化进行特征匹配）、基于语义特征的方法（利用深度学习从RGB图像和LiDAR点云中提取语义特征进行匹配，如车辆、车道、杆和停车标志等）、基于深度学习的端到端方法（深度神经网络进行端到端的特征提取和外参参数估计）。无目标的优点是环境适应性强、灵活性高、自动化程度高；缺点也很明显：特征依赖性强、鲁棒性不足、匹配困难、视场对齐问题、语义一致性问题等。

为了解决以上问题，MIAS-LCEC[1]充分发挥最先进的图像分割LVM MobileSAM[2]的潜力，采用了一种新颖的粗到细策略，以精确估计LiDAR-相机外参参数。整体思路为：

引入了虚拟相机，通过迭代姿态更新来投影给定的LiDAR点云，生成一个LiDAR强度投影（LIP）图像。
将LIP和RGB图像均使用MobileSAM进行分割。
然后，这些分割结果通过一种新颖的跨模态掩码匹配（C3M）算法进行处理，能够生成稀疏但可靠的匹配，并传播到目标掩码进行密集匹配。
最后PnP求解外参矩阵。

LCEC提供一个多功能的工具箱，带有交互式可视化界面，能够进行在线、无目标标定、离线、基于目标的标定和手动标定。

标定方法

算法整体概览

如图2所示，MIAS-LCEC采用了一种新颖的粗到细流程。一个虚拟相机将LiDAR点强度投影到相机视角。然后，利用MobileSAM（一种最先进的图像分割大视觉模型）处理生成的LIP图像和RGB图像。通过C3M策略识别出的足够且可靠的对应关系被用作PnP求解器的输入，以估计外参矩阵。

先前的研究通常将虚拟相机设置为具有如下LiDAR相对变换的形式：

从而生成一个LIP图像，将LCEC问题表述为一个2D特征匹配问题，其中和分别表示其高度和宽度。考虑到不同视角引入的图像失真，(3)式约束了传感器的相对变换设置。因此通过迭代优化虚拟相机的姿态，直到LIP图像与从实际相机视角拍摄的图像相似。该迭代过程可以表示为：

其中，下标表示第次迭代，代表从LiDAR到虚拟相机的变换，表示单位矩阵。

通过在每次迭代中捕获的LIP图像以及C3M方法，可以生成两个集合和，分别存储由相机捕获的RGB图像中的2D像素和对应的3D LiDAR点。通过最小化平均重投影误差，可以有效地计算出外参矩阵：

其中，表示通过选择子集对应关系从集合和得到的第个PnP解，表示相对于的平均重投影误差。

MIAS-LCEC算法通过更新。根据 (4)，当迭代过程收敛时，，从而最大程度地减少标定误差。在实际应用中，为了优化精度和效率之间的权衡，当时终止迭代过程，并选择第次迭代中的作为最终标定结果，即。

跨模态掩码匹配

采用两阶段策略来实现跨模态掩码匹配，如算法1所述。每个阶段都包括顺序的粗略实例匹配和细粒度的角点匹配。

第一阶段生成可靠但稀疏的匹配，从中推导出仿射变换的参数，用于更新LIP图像中的掩码。
在第二阶段，通过将获得的可靠参考匹配传播到目标掩码，实现稠密掩码匹配。这些稠密匹配最终用作PnP求解器的输入，以获得外参矩阵 ¥C_{LT}¥。

使用MobileSAM在LIP图像和RGB图像中检测到的掩码轮廓上的角点分别表示为两个集合：和。一个用于精确拟合每个掩码的实例（边界框）中心位于，尺寸为像素。为了确定最佳实例匹配，构造了一个成本矩阵，其中元素在处，即：

表示从LIP图像中的第 (i) 个实例到RGB图像中的第 (j) 个实例的匹配成本。(o_V) 在稀疏匹配阶段初始设置为 (o_V)，并在稠密匹配阶段使用上述仿射变换更新，以最小化由不同视角引起的差异。横向和纵向方向上具有最低成本的匹配被确定为最佳粗略实例匹配。

随后，我们在匹配的实例内确定角点对应关系。类似地，构造一个成本矩阵 (M^C)，其中元素在 (y = [r, s]^T) 处，即：

表示LIP图像中某个掩码的第个角点与RGB图像中某个掩码的第个角点之间的匹配成本。在稀疏匹配阶段初始设置为，并在稠密匹配阶段使用相同的仿射变换更新。横向和纵向方向上具有最低成本的对应关系也被确定为最佳角点匹配结果。然而，第一阶段是相当关键的，往往无法为PnP求解器提供足够的输入。

因此对LIP图像中的掩码应用仿射变换来调整和：

其中，表示旋转矩阵，表示平移向量，表示缩放因子。由于设计的稀疏匹配策略的关键性，可以假设在仿射变换后，LIP图像中给定掩码内的任何点与RGB图像中对应的点完全对齐，因此和。在这种情况下，可以使用以下表达式获得：

其中

是从掩码中心指向其各自匹配角点的向量之间的角度。然后可以得到：

表示RGB图像和LIP图像相关边界框区域之间的比例。最后，根据（8），可以得到：

这一阶段的稀疏匹配结果提供了PnP所需的足够输入。

假设在虚拟相机坐标系中有两个3D LiDAR点（参考点）和（目标点），它们在实际相机坐标系中的对应点和可以通过以下变换来建立：

在LIP图像和RGB图像中的2D像素坐标和可以通过以下表达式得到：

其中，和表示和的齐次坐标，表示的z坐标，表示的z坐标。

将上述公式代入，可以得到从到的仿射变换：

其中和分别表示从到的仿射变换。

同理，对于目标点和参考点可以得到：

将（15）带入（17）：

当和深度相近时，即，上述表达式可以简化为：

这表明当和在深度上接近时，和可以共享相同的仿射变换。在实际应用中，使用以下仿射变换来近似目标掩码的变换：

其中，和分别表示从参考掩码到目标掩码的缩放、旋转和平移变换。

实验对比

总结一下

MIAS-LCEC是一种基于最先进的大视觉模型开发的全在线、无目标的LiDAR-相机外参标定方法。与现有技术相比，本方法在跨模态特征匹配方面更具能力，并且优于现有的最先进算法。作者设计了一个带有交互式可视化界面的标定工具箱。在三个真实世界数据集上进行了大量实验，全面评估了MIAS-LCEC的性能。效果表明：

MIAS-LCEC无需任何目标即可实现鲁棒且精确的LiDAR-相机外参标定
通过引入带有迭代姿态更新的虚拟相机生成更精确的LiDAR强度投影，表现出对各种挑战场景的高度适应性
最先进的图像分割LVM成功应用于该特定任务，通过检测不同模态下的可区分和可匹配的掩码。

缺陷是实时性能仍需改进。

参考

[1] Online, Target-Free LiDAR–Camera Extrinsic Calibration via Cross-Modal Mask Matching

[2] Faster Segment Anything: Towards lightweight sam for mobile applications

投稿作者为『自动驾驶之心知识星球』特邀嘉宾，欢迎加入交流！

① 全网独家视频课程

BEV感知、BEV模型部署、BEV目标跟踪、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、大模型与自动驾驶、Nerf、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码即可学习）

网页端官网：www.zdjszx.com

② 国内首个自动驾驶学习社区

国内最大最专业，近3000人的交流社区，已得到大多数自动驾驶公司的认可！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（2D/3D检测、语义分割、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型、端到端等，更有行业动态和岗位发布！欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频