文章目录
OpenCalib: A multi-sensor calibration toolbox for autonomous driving——OpenCalib：一种用于自主驾驶的多传感器校准工具箱
https://github.com/PJLab-ADG/SensorsCalibration/blob/v0.1/README.md
摘要
准确的传感器校准是自主车辆多传感器感知的先决条件。尽管有许多与传感器校准相关的开源项目，但大多数是为特定传感器或应用场景设计的。为此，我们提出了OpenCalib，一个具有丰富传感器校准方法的工具箱，专为自主驾驶车辆设计。OpenCalib覆盖了最常用的传感器，包括LiDAR、相机、IMU、雷达以及不同的应用场景，包括基于道路场景的手动和自动校准、生产线上的校准以及在线校准。据我们所知，OpenCalib是首个专门为自主车辆设计的完整开源校准工具箱。
1. 引言
自主驾驶最近成为工业和学术界最受欢迎的领域之一。作为一个复杂的系统，它需要多个模块协同工作。IMU（惯性测量单元）、GNSS（全球导航卫星系统）、LiDAR（激光雷达）、相机、毫米波雷达和车轮速度计是自主驾驶系统中最常用的传感器。由于不同传感器各有优缺点，因此融合多种异构传感器成为实现稳健和准确感知与定位能力的关键。然而，这些传感器并不自然位于同一空间，因此准确的校准对于确定它们的坐标关系并共同利用它们的感知能力至关重要。
传感器校准可以分为两部分：内部参数校准和外部参数校准。内部参数决定了传感器的内部映射关系。例如，相机的内部参数包括焦距和镜头畸变。IMU的内部参数包含陀螺仪和加速度计的零偏、比例因子和安装误差。LiDAR的内部参数是内部激光发射器坐标与LiDAR坐标设备之间的转换关系。外部参数则决定了传感器与外部坐标系统之间的转换关系，包括旋转和位移的6个自由度参数。由于现有的传感器校准开源工具箱较少，我们提出了OpenCalib，一个用于自主驾驶的多传感器校准工具箱。如果您想了解OpenCalib的更多细节，请参考论文【1】（https://arxiv.org/abs/2205.14087）。
2. 相关工作
研究人员提出了多种方法来解决多传感器校准问题。根据观察场景，这些校准方法大致分为基于目标和无目标的方法（有人工目标和无人工目标）。根据人类互动的程度进一步分为手动和自动方法。此外，研究人员还提出了一些在线校准方法，主要是基于运动估计的运动方法和基于深度学习的学习方法。
基于目标的校准方法在传感器校准过程中被广泛使用。基于目标的方法通常需要手动校准目标，例如棋盘格和多边形板，这些传感器模式可以轻松检测到。常用的相机内部校准方法是使用棋盘格的Zhang方法。除了棋盘格图案，还有常见的圆形网格用于校准相机内部参数。一些LiDAR的内部校准方法通过箱体或平面墙进行。Yan等人提出了一种基于棋盘格和四个圆孔的目标联合校准方法。Wang等人通过金属面板进行雷达与相机的校准。Peršić等人提出了一种适用于LiDAR和雷达的补充校准目标设计。
无目标的方法比有目标的方法更方便，因为不需要特定的目标。这些方法利用环境特征在传感器数据中匹配对应关系。根据不同的信息提取方法，多传感器在线校准的研究方向可以分为三种方法：边缘配准、互信息和分割。Barazzetti等人仅使用自然场景进行相机内部校准。Levinson等人提出了一种通过对齐环境中物体的边缘特征进行在线外部校准的方法。一些方法利用道路特征进行多传感器的自动校准。Ma等人通过道路场景中的线特征校准LiDAR和相机的外部参数。Wei等人利用道路场景中的道路特征校准多个LiDAR的外部参数。Gong等人提出了一种方法，使用在城市和室内环境中常见的三面体目标。Pandey等人使用LiDAR测量的反射强度和相机的强度值进行外部校准。类似地，Taylor等人通过归一化互信息并最大化图像和LiDAR点的梯度相关性进行LiDAR-相机校准。Schneider等人提出了首个用于LiDAR-相机校准的深度卷积神经网络RegNet，该网络通过基于监督网络的回归直接推断外部参数。为了进一步引入空间信息并消除内部影响，Iyer等人提出了一种几何监督网络CalibNet，用于LiDAR-相机校准，通过减少密集的光度误差和密集的点云距离误差来实现。DeepCalib提出了一种基于CNN的方法，用于广视场相机的内部校准，并自动生成大规模内部数据集。
目前，已有一些与传感器校准相关的开源项目，例如Kalibr、Autoware等，还有更多特定校准类型的开源项目，例如用于LiDAR和IMU校准的lidar_align。OpenCV也提供了一些校准工具。然而，目前还没有针对自主驾驶不同应用场景的完整校准工具箱。因此，我们将基于之前的校准研究和项目经验，将各种自主驾驶校准工具集成到OpenCalib校准工具箱中。此外，我们发现许多现有方法的设置过于复杂，或者校准精度无法满足自动驾驶的需求。因此，我们还提出了一些基于道路场景的手动和自动校准方法，并将其整合到OpenCalib中。
3. 影响概述
研究人员和开发人员可以使用所提议的工具箱来校准多传感器系统。我们的校准工具箱覆盖了自动驾驶所需的大部分校准项目，包括手动、自动、工厂和在线校准工具，如图1所示。我们为用户提供了五种针对目标无关和任意道路场景的手动校准工具。该方法最显著的优势在于人们可以判断当前的校准是否准确。如果认为校准正确，则校准完成。手动校准工具只需花费一定时间即可获得令人满意的结果。此外，我们的工具箱还提供五种基于道路的自动校准工具。与手动校准相比，自动校准也是一种基本且不可或缺的技术，具有校准速度快且在校准过程中无需人工干预的优点。
当自动驾驶（AD）或高级驾驶辅助系统（ADAS）进入大规模生产阶段时，必须建立校准室或校准生产线。校准室和生产线通常具有较高的校准效率和准确性，相应的建设成本相对较大，且校准之间目标的精度要求较高。我们的工具提供了五种校准板校准算法，如图1所示。大多数校准算法使用这些类型的校准板或这些图案的混合。为了实现更轻量化，我们已经移除了这些算法对OpenCV库的依赖。
除了上述内容外，我们还提供了一些基于运动的在线校准和售后校准工具，使OpenCalib成为一个完整的自动驾驶校准工具箱。由于不同模块的分析耗时较长，手动校准需要人工干预，因此耗时不固定，平均校准时间在3分钟以内。自动校准不需要人工干预，因此大多数模块的校准时间少于5秒，但LiDAR到IMU的校准需要多个LiDAR数据帧，通常需要大约5分钟。工厂校准对校准时间有严格要求，保持在1秒以内。
图1. 通过OpenCalib校准工具箱，时间同步的多传感器数据在空间上同步，然后多传感器的预融合数据被发送到下游应用模块。
4. 结论与未来工作
传感器校准是自主系统及其组成传感器的基础环节。必须在实施传感器融合之前正确执行校准。本文介绍了OpenCalib，一个用于自动驾驶的多传感器校准工具箱。我们将在GitHub上开源该工具箱代码，以造福社区。开源代码为v0.1版本，我们将在未来的版本中继续引入更多最先进的校准算法。
扫一扫
4735
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
