Fusion of LiDAR and Camera Sensor Data for Environment Sensing in Driverless Vehicles

摘要

无人驾驶车辆通过感知和感知周围环境来做出准确的驾驶决策。几种不同的传感器（例如LiDAR，雷达，超声传感器和照相机）的组合被用来感应无人驾驶车辆的周围环境。异构传感器同时捕获环境的各种物理属性。需要通过传感器数据融合积极地利用这种多模态和感测冗余，以实现对环境的可靠一致的感知。但是，这些多模式传感器数据流在许多方面彼此不同，例如时间和空间分辨率，数据格式和几何对齐。为了使随后的感知算法利用多模态感测提供的多样性，数据流需要在空间，几何和时间上彼此对齐。在本文中，我们解决了将光探测与测距（LiDAR）扫描仪和广角单眼图像传感器的输出融合在一起的问题。LiDAR扫描仪和图像传感器的输出具有不同的空间分辨率，并且需要彼此对齐。使用几何模型在空间上对齐两个传感器输出，然后使用基于高斯过程（GP）回归的分辨率匹配算法对可丢失不确定性数据进行插值。结果表明，所提出的传感器数据融合框架极大地帮助了后续的感知步骤，如典型自由空间检测算法的性能改进所说明的。

索引词-传感器数据融合，LiDAR，高斯过程回归，自由空间检测，自动驾驶汽车，无人驾驶汽车。

一，引言 

从无人驾驶汽车（也称为自动驾驶汽车）作为科幻小说中的支柱，正稳步发展成为商业现实。无人驾驶车辆无需人工干预即可运送乘客或货物。无人驾驶汽车的出现有望带来许多好处-改善安全性，提高燃油效率，减少污染和拥堵[1]。自动驾驶出租车，自动泊车，车辆排和残疾人专用室内个人助理车辆是无人驾驶汽车在地平线上的少数应用。几家主要的汽车制造商已设定了在2020年之前推出商用全自动驾驶汽车的目标。然而，具有足够的漫游能力而无需人工干预的汽车仍然是遥不可及的现实，需要大量的研究工作才能实现[2]。预计不久的将来，全自动驾驶汽车将被限制在一系列高度受控的设置和低速环境中[3]。在本文中，“无人驾驶汽车”和“自动驾驶汽车”将互换使用。

自动驾驶汽车由三个主要技术组成。第一个系统-感知和感知-负责感知和理解周围的环境。传感和感知系统捕获的信息用于做出有关行进方向，避开障碍物，加速和减速的基本运动决策。第二个系统本地化和制图-使车辆能够在任何给定时间知道其当前位置。虽然基于卫星和惯性导航的系统可以用于此目的，但这些系统有其自身的局限性[4]。因此，通过在各种设置中以3D映射周围环境并与历史数据进行比较来执行定位。第三部分负责驾驶政策。驾驶政策是指自动驾驶汽车在各种情况下的决策能力，例如在回旋处进行选择，让车还是超车。
此外，预计自动驾驶汽车将通过无线通信系统连接到其他汽车和周围的基础设施[5]。这样的通信链接可用于交换传感器数据和控制导航。

当前的无人驾驶汽车原型[4]利用多种传感器，例如光成像检测和测距（LiDAR），雷达，成像和超声波传感器–来导航周围环境并做出决策。雷达用于远程感测，而超声波传感器在非常短的范围内有效。成像传感器通常用于检测交通信号，车道标记以及周围的行人和车辆。通常，这些原型依赖LiDAR传感器以3维（3D）方式绘制周围环境。为了使自动驾驶汽车令人满意地运行，需要准确解释每个传感器产生的数据。

因此，自动驾驶汽车的操作精度受到相关传感器可靠性的限制。每种类型的传感器都有其自身的局限性，例如，LiDAR传感器的读数通常会受到雨，雾或雪等天气现象的影响[6]。多个传感器提供的多样性可以为感知数据的感知做出积极贡献。多个异类传感器流的有效对齐（在空间，几何或时间上）以及对多模式传感提供的分集的利用被称为传感器数据融合[7]。

在本文中，我们提出了一种新颖的方法，用于融合LiDAR传感器收集的距离数据和来自广角成像传感器的亮度数据。LiDAR的数据以3D点云的形式出现。

本文的其余部分安排如下：第二部分概述了相关工作和相关挑战。第三部分介绍了LiDAR和成像传感器数据融合的框架。第四节介绍了实验框架和结果讨论。最后，我们在第五节中总结了本文，并对将来可能的工作进行了一些参考。

二。无人驾驶汽车的传感器数据融合

本节介绍与本文贡献有关的文献，然后对当前贡献进行定位。本部分分为三个部分：数据融合的需求及其带来的挑战，LiDAR和相机数据融合的相关工作，最后是无人驾驶汽车范围内当前工作所解决的挑战。

A.多模式数据融合中的挑战

可以从不同类型的仪器，测量技术和传感器获得有关系统的信息。使用异构采集机制来感测系统被称为多模式感测[8]。多模式感测是必要的，因为单个模式通常无法捕获丰富的自然现象的完整知识。数据融合是联合分析多峰数据流以捕获特定系统知识的过程。
Lahat[8]指出了多模式数据带来的几个挑战。这些挑战可大致分为两部分：采集级别的挑战和数据源不确定性带来的挑战。数据采集​​级别问题引起的挑战包括：物理度量单位的差异（不可衡量性），采样分辨率的差异以及时空对齐的差异。数据源的不确定性还带来了挑战，其中包括：校准误差，量化误差或精度损失等噪声，数据源可靠性的差异，数据不一致和值丢失。

Lahat等人讨论的上述挑战[8]是通过考虑大量应用程序确定的。在下一个小节中，我们将讨论与融合LiDAR和成像数据相关的特定挑战。

B. LiDAR与不同类型的成像数据融合

LiDAR数据可以与不同类型的成像传感器数据融合，以适应各种应用。地形制图是LiDAR数据的一种流行应用，它使用机载LiDAR扫描仪来识别各种地面物体，例如建筑物或车辆。由于植被造成的阻塞和阻塞，LiDAR扫描仪的独立使用证明在此类应用中具有挑战性。因此，尽管LiDAR表现出良好的高度测量精度，但它缺乏水平分割功能来描绘建筑物边界。在文献[9]中提出了一种基于图的数据驱动方法，该方法将LiDAR数据和多光谱图像融合在一起。文献[9]中的作者提出了一种连接组件分析和组件聚类的方法，以提出一种更精确的分割算法。

在大量文献中，LiDAR和图像数据融合被视为外部校准过程。在这里融合被视为两个传感器的坐标系之间的刚体转换过程[10]。
为了进行外部校准，需要使用外部物体，例如三面体校准台[11]，[12]，圆形[13]，板型[14]，[15]或棋盘型[16] [17] ] [18]，用作匹配两个传感器之间对应关系的目标。尽管此类方法可产生精确的对准，但它们并未解决与传感器读数不确定性相关的问题。

LiDAR和成像数据融合的问题可以作为相机姿态估计问题来解决，其中3D LIDAR坐标和2D图像坐标之间的关系由相机参数（例如位置，方向和焦距）表征。在[19]中，作者提出了一种信息理论上的相似性度量，以通过搜索合适的相机变换矩阵自动将2D光学图像与3D LiDAR扫描配准。LiDAR和光学图像融合在[19]中用于创建城市场景的3D虚拟现实模型。

在[20]中解决了3D-LiDAR数据与立体图像的融合。立体深度估计的优点在于它能够通过利用立体匹配技术来生成周围环境的密集深度图。然而，密集的立体深度估计在计算上非常复杂。这是由于需要匹配立体图像中的对应点。此外，例如，由于明亮区域中像素值的饱和，使用立体图像的密集深度估计会受到图像传感器动态范围的限制[21]。
基于立体声的深度估计的另一个缺点是深度感测的范围有限。另一方面，与成像传感器相比，LiDAR扫描提供了一种实用工具，可以以较高的精度测量深度，尽管分辨率较低。[20]中的作者提出了一种概率框架，将稀疏的LiDAR数据与立体图像融合在一起，旨在针对移动机器人和自动驾驶汽车的环境进行实时3D感知。概率方法的一个重要属性，例如在[20]中，它代表了估计深度值的不确定性。

C.本文解决的数据融合挑战

在本文中，我们考虑了自动驾驶汽车中的LiDAR和成像传感器数据融合。由于相关的安全要求，无人驾驶汽车作为一种应用对数据驱动的决策提出了重大挑战。为了可靠运行，需要考虑自动驾驶汽车获取的所有多模式传感器数据来做出决策。此外，必须根据与数据采集方法和所使用的预处理算法相关的不确定性来做出决定。

本文解决了围绕传感器数据融合的两个基本问题。它们是：异构传感器中的空间未对准和分辨率差异。除了与以前在数据融合传感器类型上的贡献不同外，我们本文的动机有两个方面：首先，我们有兴趣开发一种更强大的数据融合方法，该方法解决了融合算法中的不确定性。这将使自动驾驶汽车中的后续感知任务能够更可靠地运行。其次，我们设想了未来的情况，自动驾驶汽车将在彼此之间交换有用的传感器数据。在这种情况下，使用外部校准方法是不切实际的，因为由于制造差异，传感器之间存在不可避免的单位差异。因此，有必要使数据融合算法以最少的校准工作。基于上述前提，我们提出了一种鲁棒的数据融合框架，并具有最小的校准能力。

三，激光和广角相机融合的拟议算法

为了解决上述挑战，在本节中，我们提出了一个数据融合框架。本节介绍了将LiDAR数据与广角成像传感器融合的拟议算法。本节的组织如下：在III.A节中，介绍了用于对齐两种传感器类型的几何模型，然后在III.B节中介绍了基于高斯过程的两种传感器分辨率的匹配。

A. LiDAR和相机数据的几何对齐

数据融合算法的第一步是将LiDAR输出和360度摄像机的数据点几何对齐。几何对齐的目的是为LiDAR传感器输出的每个数据点在相机输出中找到对应的像素。为了进行此推导，请考虑与机器人距离为𝐷的高度为𝐻𝑜的物体𝑂。传感器设置如图2所示，传感器的水平排列如图3所示。

图2和3中使用的符号列出如下：

∆𝑥 = LiDAR和相机传感器中心的正面位移。∆𝑦 = LiDAR和相机传感器中心的水平位移。=到LiDAR感测到的对象O的距离。𝛽，＝分别由LiDAR测量的对象O的纬度和经度。=相机离地面的高度。= LiDAR的垂直高度，𝛼、相机分别测量的对象O的纬度和经度。

，𝛽，的值是LiDAR传感器的输出。对齐的目的是为LiDAR传感器输出的每个数据点在相机输出中找到对应的像素。在这里，我们假设摄像机的主轴和LiDAR彼此对齐。考虑到到物体O的距离，我们有 

考虑到物体O的垂直高度，我们有

从（1）和（2），我们可以计算出相机的相应纬度𝛼，如下所示：

考虑到图3中设置的水平位移，我们有

从（1）和（4），我们可以计算出相应的经度

公式（3）和（5）为对齐LiDAR和摄像机的数据点铺平了道路。校准过程的目的是找到参数，，∆y，∆x。

尽管提出了最低限度的校准要求，但上述几何对齐过程不能完全依靠作为一种可靠的机制，因为校准测量中的错误，传感器组件的缺陷以及制造过程中产生的单位变化可能会引入偏离校准过程的因素。理想的传感器几何形状。例如，360o摄像机的曲率可能在其整个表面上都不均匀。因此，为了对这样的差异足够鲁棒，理想情况下，几何对齐的数据必须经过另一级别的调整。这是通过使用图像数据中存在的空间相关性在框架的下一阶段完成的。

当融合来自不同来源的数据时出现的另一个问题是数据分辨率的差异。对于本文所述的情况，LiDAR输出的分辨率大大低于摄像机的图像。因此，数据融合算法的下一阶段旨在通过自适应缩放操作来匹配LiDAR数据和成像数据的分辨率。

B.基于高斯过程回归的分辨率匹配

在本节中，我们描述了将LiDAR数据和成像数据的分辨率相匹配的机制。在III.B节中，通过几何对齐，我们将LiDAR数据点与图像中的相应像素进行了匹配。但是，图像分辨率远高于LiDAR输出。该步骤的目的是为没有对应距离值的图像像素找到合适的距离值。此外，该阶段的另一个要求是补偿几何对齐步骤中的差异或错误。

我们将此问题公式化为基于回归的缺失值预测，其中利用测量数据点之间的关系（可用距离值）来插值缺失值。为此，我们使用高斯过程回归（GPR）[8]，这是一种非线性回归技术。GPR允许以任何合适的方式定义数据的协方差。在此步骤中，我们从图像数据中导出协方差，从而进行调整以解决几何对齐阶段中的差异。高斯过程（GP）被定义为函数的高斯分布[8]，

GP的强大之处在于，我们可以定义任何协方差函数𝜅与当前问题相关。

让我们将从深度图D中提取的大小为𝑛×𝑛的片段表示为。提取的色块中的像素编号从1到-沿着行和列增加。此面片的某些像素具有与其相关联的距离值（几何对齐阶段）。该回归步骤的目标是用适当的深度值填充其余像素。

与深度相关联的像素将用作训练集，其中N是与深度相关联的像素数，是像素数。令表示像素编号的空的集合深度图。然后，分辨率匹配问题就变为找到，即与𝑋∗对应的像素深度。根据GP的定义，𝑓和𝑓∗之间的联合分布具有以下形式：

其中𝐾= 𝜅（𝑋，𝑋），𝐾∗ = 𝜅（𝑋，𝑋∗），和𝐾∗∗ =𝜅（𝑋∗，𝑋∗）是使用协方差函数𝜅，𝜇和𝜇*定义的协方差矩阵是𝑓和𝑓∗的对应平均向量。𝑓∗的解由后验预测密度给出[22]，

必须定义一个合适的协方差函数𝜅以达到填补深度图D中缺失值的目的。那么我们如何定义合适的协方差函数呢？为此，请参见图4。基于高斯过程（GP）的分辨率匹配算法中的步骤序列。我们假设彩色图像的相似像素将具有相同的深度值。基于像素之间的欧几里得距离和像素的灰度级来定义像素的相似性。因此，我们将协方差函数定义为

𝜅（𝑥，𝑥'）=𝑐（𝑥，𝑥'）∙𝑠（𝑥，𝑥'），其中任意两个像素𝑥，𝑥'，𝜅（𝑥，𝑥'）之间的协方差是两个因子的乘积：𝑐（𝑥，𝑥'）：两个像素之间的空间欧几里得距离，而𝑠（𝑥，𝑥'）：两个像素之间的相似度，其灰度值定义如下

其中𝐼𝑥表示摄像机图像在像素位置at的灰度值。Kp和KI控制相应内核的宽度。像素𝑥的缺失深度值取为公式9给出的x处的平均值𝜇∗，计算出的像素值的相应不确定度取为公式10给出的at处的方差。图4显示了基于GP的回归以填充丢失的深度值。

IV。实验结果与讨论

在本节中，我们将描述从中收集测试数据的实验测试台，并讨论使用上一节中描述的数据融合算法获得的结果。

A.测试台说明

为了收集实验所需的数据，如图5所示组装了一个测试台。该测试台由一个前置广角摄像头，一个后置摄像头和一个贴有电动四轮摩托的LiDAR扫描仪组成。但是，在本文中，我们仅专注于将前置广角摄像头输出与LiDAR扫描仪输出融合在一起。

Velodyne VLP-16 LiDAR用于测试台，这是一种紧凑型低功耗轻型光学传感器，最大射程为100米。该传感器支持16通道通讯，每秒总计进行300,000次测量。利用16对激光/探测器对，数据在水平轴上的360°和垂直轴上的30°范围内捕获。

该设置中使用的广角摄像头是360Fly摄像头，被封闭在一个直径为61mm的球体内，顶部装有一个鱼眼镜头。垂直视野为360°，水平视野为240°。从本相机输出的标准360°视频是显示为球面的平面等矩形视频。

几何对准阶段的测量如下：𝐻𝐶=0.55𝑚𝑚，𝐻𝐿=0.61𝑚𝑚，∆𝑦 =0.07𝑚𝑚，∆𝑥 =0.5𝑚𝑚。

B.效果评估

数据融合的目的是协助后续的数据感知任务。因此，需要在后续处理阶段的背景下评估数据融合框架的性能。本小节描述了这项工作中用来评估数据融合框架性能的方法。为了保持无人驾驶汽车的环境，我们将利用自由空间检测（FSD）作为代表感知任务。

FSD是一种机制，无人驾驶车辆可通过该机制了解其可进入的空间区域，而不会碰到任何障碍物。通常，采用数据驱动的学习方法来训练FSD算法。在此实验中，我们从训练FSD分类器的角度说明了传感器数据融合的有效性。

如图6（b）所示，数据融合阶段生成一个深度图，该深度图指示从LiDAR到彩色图像中每个像素的距离。出于本研究的目的，自由空间定义为空间中的任何点，该点与测试台的轮子处于同一高度。我们假设车辆行驶的地板是平坦的。因此，任何表示与车轮底部相同水平的空间中的点的像素均被视为“自由空间”点。

为了进行性能评估，我们利用了三个要融合的图像片段。利用融合输出（如图6（b）所示的距离图），可以识别出自由空间点。表示自由空间点的逻辑掩码称为“自由空间掩码”。然后将自由空间掩码与地面真值掩码进行比较。手动标记了三个图像段的地面真相。类似地，为了测量在后续部分中讨论的不同技术的性能，将获得一个自由空间检测掩模并将其与地面真实情况进行比较。

通过简单的掩模“异或”操作即可获得与地面真实情况不符的像素数量。不符合地面真实性的像素比例被视为最终的性能指标。

C.融合结果的视觉图示

图6提供了数据融合过程的输入和输出的直观图示。图6（a）是要融合的数据样本。图像上的标记指示几何对齐的距离数据点。图6（b）是基于GP的分辨率匹配实验的结果，图6（c）是与深度值插值相关的相应不确定性。请注意，在图像的中间，缺少激光读数。尽管基于GP的回归用合理的值填充了这些区域，但不确定性也很高。此外，在某些区域中存在明显的颜色不连续性，例如在地面上，存在很大的不确定性。

还应注意，图6（a）的中间缺少来自激光雷达扫描仪之一的数据。在这种情况下，数据融合算法仍然可以找到深度值，但是它具有很高的不确定性，如图6（c）所示。

D.性能评估

在本节中，我们将通过考虑第IV.B节中描述的方法来评估所提出的数据融合方法的性能。在表I中，基于所提出的数据融合框架的FSD被称为“基于LiDAR + Camera Fusion的FSD”。

1）多模式数据融合与基于单个传感器的图像理解方法的比较。

首先，我们考虑与单传感器相比，传感器数据融合所带来的性能提升。基于单传感器的方法被模拟为FSD算法，该算法从彩色图像的自由空间示例中学习。

为此，我们从相机图像中收集了一组图像补丁训练集，并分配了适当的标签作为或不作为自由空间。从三个示例图像中收集了140个尺寸为16×16的图像块，以训练支持向量机（SVM）分类器。从这些训练图像块中提取了定向梯度（HoG）特征的直方图和HSV（色调，饱和度，值）空间的直方图，并从这些特征向量中训练了SVM。这种基于SVM的FSD分类器在表I中被称为“基于HoG和HSV特征的SVM”，这是FSD的单传感器（成像）方法。此外，我们还与仅通过HoG功能训练的SVM分类器（称为“基于HoG功能的SVM”）进行了比较。

相应的FSD结果如图7和8所示，其中检测到的自由空间用绿色标记。请注意，在对应于“基于HoG和HSV特征的SVM”的图7中的示例中，有许多平坦区域（没有太多纹理细节）被错误地分类为自由空间。基于数据融合的FSD算法具有较低的错误检测水平。

为了总结性能，表I中给出了每个示例未正确分类的像素百分比的比较。考虑到表I中的结果，很明显基于数据融合的FSD算法在性能上优于SVM分类器。至少60％。这样，该实验证明了与基于单传感器的方法相比，多模式传感器数据融合的优势。此外，从图7、8和表I的结果还可以明显看出，本文提出的框架在对齐和匹配两个异构数据流方面表现良好。

2）比较各种分辨率匹配算法

本实验的目的是通过实验证明高斯过程（GP）回归在第III.B节中用于分辨率匹配框架的合理性。如第III.B节所述，我们将传感器数据融合中的分辨率差异问题作为缺失值插值问题进行了探讨。我们将GP回归方法与其他两种方法的性能进行比较：不完全数据的张量分解[23]和基于离散余弦变换的稳健平滑[24]。根据FSD算法的性能对结果进行比较，并汇总在表II中。如图所示，基于GP回归的建议方法始终表现良好。

尽管在[8]中被推荐作为框架，但是基于张量分解的方法（例如[23]）并不非常适合于高维成像应用。文献中提出的基于张量的方法主要针对低维信号。尽管在两个测试案例中，与所提出的方法相比性能略低，但基于DCT的网格数据平滑方法[24]在分辨率匹配方案中表现良好。这意味着[24]中的算法也能够捕获高维非线性空间变化。但是，这种方法的缺点是它不能提供估计的不确定性。

E.当前方法的局限性

我们确定了所提出方法的一些局限性。首先，所提出的方法仅在单个图像帧上起作用，而不利用时间冗余提供的分集。另一个限制是，提出的数据融合方法不能充分解决透视玻璃的问题。本研究中使用的两种类型的光学传感器都不会将透过玻璃的物体识别为物体，但会识别透过玻璃的物体。对于诸如FSD的应用，这将成为问题。LiDAR中生成的反射率数据（未在此方法中使用）可能对解决此问题很有帮助。我们将考虑上述问题并解决未来工作中的局限性。

五，结论和未来工作

本文解决了将LiDAR扫描仪和广角单眼图像传感器的输出融合在一起的问题。所提出框架的第一部分在空间上将两个传感器数据流与几何模型对齐。两个传感器的分辨率完全不同，图像传感器的空间分辨率要高得多。在所提出框架的第二阶段中，这两种分辨率通过利用高斯过程回归算法进行匹配，该算法从图像传感器数据中得出空间协方差。GP回归的输出不仅提供了图像中所有像素的对应距离值的估计，而且还通过标准偏差指示了估计的不确定性。提出的数据融合框架的优势通过自由空间检测算法得到了说明，与基于单个传感器的检测功能相比，该算法的性能提高了60％以上。计划的未来工作包括传感器融合框架的扩展，以包括多台摄像机，雷达扫描仪和超声波扫描仪。此外，我们将研究基于数据融合框架的鲁棒自由空间检测方法。