基于运动相关分析的实时多源异构传感器时空标定方法研究

Real-Time Temporal and Rotational Calibration of Heterogeneous Sensors Using Motion Correlation Analysis

论文作者：Kejie Qiu, Tong Qin, Jie Pan, Liu Siqi, and Shen Shaojie

这是Shen Shaojie课题组的论文，方法虽不是特别创新，但做的深入且成系统。

文章来源：IEEE TRANSACTIONS ON ROBOTICS，2021年4月，第37卷第2期

论文链接：https://ieeexplore.ieee.org/document/9271875

翻译：chaochaoSEU

摘要：准确而鲁棒的校准对于多传感器融合系统至关重要。由于传感器获取数据方式的巨大差异，异构传感器的校准特别具有挑战性。当前，许多校准方法都忽略了时间校准，实际上时间校准和空间校准同样重要。本文专注于异构传感器的时间校准，且提供相应的外部旋转参数。大多数现有方法专用于特定的传感器组合，例如IMU-相机或相机-激光系统。但是，异构多传感器融合是机器人领域的趋势，因此需要一种统一的校准方法。为此，我们利用3D旋转运动特征进行校准，而不需要辅助标定板，这是因为使用多种里程计方法来获取3D传感器的运动信息。使用高频IMU作为校准参考，以IMU为中心的方案旨在实现一个统一的框架，该框架适用于可以独立估计3D旋转运动的各种目标传感器。通过结合独立的以IMU为中心的校准组合体，任意的传感器也可以使用相同的参考IMU进行校准。由于采用了新颖的3D运动相关性量化和分析机制，因此可以实现实时估计时间偏移。给定时间对齐的传感器运动，可以在相同的3D运动关联机制中以解析解求出外部旋转参数。通过与最新的校准方法进行比较，某些传感器组合的实验结果表明了该方法的准确性和鲁棒性，异构多传感器集的校准结果证明了该方法的可扩展性和多功能性。

I 引言

多传感器融合是各种精确环境感知机器人应用的基础，如同时定位和建图（SLAM）[1]和动态环境感知[2][3]。不同的传感器可以互补，融合系统的整体感知能力将显著提高。例如，IMU具有很高的更新率，但有噪声和漂移；相机具有高分辨率的感知能力，但存在图像模糊和尺度模糊，而激光雷达具有精确的距离感知能力，但水平分辨率和FOV有限。为了实现有效和鲁棒的传感器融合，不同传感器的数据同步对融合系统至关重要。为了实现高精度的时间同步和空间校准，利用高频IMU，设计了一个以IMU为中心的校准方案，如图1所示。使用一个IMU作为公共校准参考，所有的目标传感器都可以相对于中心IMU进行校准，并且使用相同参考IMU的任意两个传感器也可以相应地进行校准。

许多传感器融合方法首先假设不同传感器的时间戳精确对齐[1]、[4]-[6]，这实际上只能通过严格的硬件同步来保证。但是对于大多数低成本和自搭建的传感器集，硬件同步是不可用的。实际上，传感器的时间戳会受到不同时钟、触发机制、传输延迟、数据阻塞、抖动、倾斜的影响。正如文献[7]所指出的，对上述因素的校正被称为“时钟同步”，而本文重点关注“时间校准”，即确定测量实例和时间戳之间的恒定偏移的过程。因此，精确的时间校准是传感器融合的首要前提条件。大多数校准方法都是专门为某种传感器组合而设计的，如相机-IMU系统或相机-激光系统。然而，多源异构传感器融合在当今的应用场景中很常见，如自动驾驶。且将来也会出现新传感器。因此，需要一种统一、无目标、实时、高精度的校准方案。本文主要研究了基于3D运动相关分析的异构传感器的时间校准。该方法使用相同的三维相关分析还可估计关键的外部旋转参数。我们的方法适用于任何可以独立估计三维旋转的自运动（ego-motion自我运动:在计算机视觉领域，自我运动是指估计相机相对于固定场景的运动。自我估计的一个例子是估计汽车相对于从汽车本身观察到的道路或街道标志线上的移动位置。自我运动的估计在自主机器人导航应用中很重要）。

现有的校准算法大多属于优化方法的范畴：目标是拟合/对齐不同传感器的传感器数据，校准问题可以表述为状态估计问题，可通过滤波或优化的解决方法。还有另一类是利用运动相关分析来校准类似于[8]和[9]中的传感器。事实上，相关分析是估计两个信号之间时移的最标准的方法[10]、[11]。但相关性方法的弱点是估计精度。例如，文献[8]的结果需要通过优化方法做进一步优化。受[8]和[9]的启发，我们将一维相关分析扩展到三维相关分析，充分利用三维运动，并设计了一个速率平衡滤波（a rate balance filter）来平衡中心IMU和目标传感器之间的更新率差异，从而实现更高的校准精度和鲁棒性，其可与基于优化方法相媲美。

众所周知，每个外部感受性传感器都可以根据特定的物理特征来感知部分环境，这可以是发光强度、纹理、边缘、深度、光谱反射率等。即使两个传感器可以测量相同的量，测量的结果与另一个传感器也会不同，特定的感测FOV和感测面积也可以不同。如果我们利用原始的传感器数据进行校准，准确的传感器数据关联是最大的问题。例如，传统的双目相机校准方法依赖于重叠区域的极线约束或重投影误差来求解外参，这意味着它不能处理两个相机没有重叠区域的情况。相反，自我运动由同一传感器集中的所有传感器共享，以进行异构传感器校准，从而实现一种统一的校准风格。

如今，许多里程计算法和SLAM算法已经被开发来获取具有特定外部感受传感器的三维自我运动，如用于单目相机的ORB-SLAM[13]、DSO[14]，用于激光的LOAM[15]和用于RGBD相机的RGBD-SLAM。而IMU作为载体传感器可以直接测量具有角速度和线性加速度的三维自我运动特征。如果我们从不同的运动估计方法中提取运动特征作为独立的信号，就不需要辅助标定板，相应的时间偏移可以首先通过精心设计的三维相关分析来估计，这对多重几何变换是不变的。通过充分的运动激励和精确的时间校准，可以得到两个传感器观察到的最大运动相关性。此后，外部旋转参数的推导类似于一种几何形状的对准方法，普氏分析[17][18]。给定时间对齐的运动数据，通过具有相同三维相关分析机制的特征方向分析，可以进一步推导出外部旋转参数。使用运动相关性的一个优点是，在外部旋转参数校准之前，可以应用时间校准。因为时间偏移和外部旋转是两个不相关的量，如[8]指出的共同估计不相关的量将会损害估计结果。因为时间和空间的不对齐都引起拟合误差，所以优化算法同时联合估计所有的状态量。此外，与优化方法相比，该方法具有更大的时间偏移估计范围。另一个优点是，基于时间校准的三维相关分析，可以快速推导出外部旋转参数，这意味着不需要外部旋转参数的初始估计，而大多数优化方法都依赖于初始猜测用于精确收敛。

据作者所知，这项工作是第一个不需要初始猜测和额外标定板辅助的统一解决异构多传感器的实时时间偏移和外部旋转参数估计。贡献如下：