多传感器融合系统的抗干扰性与鲁棒性到底怎么样？对哪些敏感？

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取

今天自动驾驶之心为大家分享最新的多传感器融合系统的抗干扰性与鲁棒性研究，如果您有相关工作需要分享，请在文末联系我们！

>>点击进入→自动驾驶之心【多传感器融合】技术交流群

论文作者 | Xinyu Gao

编辑 | 自动驾驶之心

很荣幸受邀分享我们组最近关于多传感器融合系统的抗干扰性与鲁棒性研究。

基于多传感器融合（MSF）的感知系统是支持许多工业应用和领域的基础，如自动驾驶汽车、机械臂和无人机。在过去的几年里，数据驱动的人工智能（AI）发展带来了一种快速增长的趋势，即通过深度学习技术增强MSF系统的能力，以进一步提高性能。

本文构建了感知系统的公共基准，包括三个常用的任务（目标检测、目标跟踪和深度补全）。在此基础上，为了全面了解MSF系统的鲁棒性和可靠性，设计了14种常见且现实的损坏模式来合成大规模的损坏数据集。通过大规模的评估并确定以下关键发现：（1）现有的MSF系统对损坏的传感器信号不够鲁棒；（2） 小的同步和标定误差可能导致MSF系统崩溃；（3） 现有的MSF系统通常是紧密耦合的，其中来自单个传感器的错误/错误可能导致系统崩溃；（4） 可以通过改进融合机制来增强MSF系统的鲁棒性。

领域目前的发展

多传感器融合（MSF）是指将来自多个传感器来源的数据结合起来以实现特定任务的技术，已被许多复杂系统广泛采用。来自不同传感器的信息的集成避免了单个传感器固有的感知限制，并提高了系统的整体性能。MSF的快速发展也带来了挑战和担忧，最大的担忧之一是对目前MSF的可靠性缺乏深入了解。在实践中，MSF系统可能会在关键安全的情况下出现错误，并导致严重事故，尤其是在自动驾驶中。因此，非常希望能够预先对这种智能系统进行全面的测试、分析和系统评估。在AI/SE社区中开展此类质量保证活动的一种常见做法是建立一个基准，使研究人员和从业者能够进行系统研究并开发新技术，以更好地满足重要的质量要求。然而到目前为止，还没有专门为MSF设计的基准。目前尚不清楚潜在的质量问题和风险是否存在以及在多大程度上存在，它们是如何从每个传感单元产生的，以及它们对集成和信息融合过程的影响！

为了弥补这一差距，本文提出了一个基准，并对MSF感知系统进行了实证研究，图1总结了基准构建的高层设计和工作流程以及实证研究，其中主要调查了以下研究问题，旨在识别潜在的挑战和机遇：

RQ1：MSF感知系统如何对抗常见的损坏信号？该RQ旨在调查MSF系统针对操作环境中常见的损坏信号的潜在风险。通过对11种类型的损坏传感器信号进行大规模评估，发现当前MSF系统不够稳健，尤其是在应对天气条件变化时！

RQ2：当面临传感器的空间和时间错位时，MSF有多敏感？在实际的开放和户外环境中，几乎不可能始终保持系统在传感器之间的完美标定或精确时间同步。RQ2旨在研究MSF对空间和时间错位的敏感性，实验结果表明，即使是很小的标定或同步问题也可能导致系统的异常行为！

RQ3：现有传感组件在多大程度上与MSF系统耦合？当整个感测模块的一个或一部分失去源信号时，稳健可靠的MSF不应完全失效。RQ3旨在研究当一个信号源部分/完全丢失时，MSF系统如何受到影响。总的来说，发现MSF系统的紧密耦合架构表现出对信号损失的鲁棒性较差。

RQ4：不同MSF机制的弱点是什么？有可能修复它们吗？RQ4旨在研究每种融合机制的独特优势以及提高MSF系统鲁棒性的潜在机会。结果表明，深度融合在某些情况下更具鲁棒性，然而，就对损坏模式的鲁棒性而言，弱融合和后期融合更容易修复！

本文是对MSF系统进行基准测试和研究的早期研究之一，MSF系统是一个由多个传感通道和相应模型组成的常见且具有代表性的人工智能系统。一方面，目前尚不清楚每个传感单元对MSF结果的影响程度；也不清楚不同感测单元和通道的问题是如何被涉及并传播到不同MSF设计的最终结果的。在当前阶段创建一个基准可以定量地研究这些重要问题，这也有助于沿着这个方向进行进一步的相关质量保证研究。另一方面，一般来说，基于MSF的感知系统在实现自主和智能系统方面发挥着关键作用，这可能会对许多应用和领域产生重大影响。

随着最近向数据驱动的智能时代的快速转型，相信通过深度学习增强的MSF系统也将有助于从业者理解其局限性并提出更好的MSF工程技术，为设计安全可靠的自主智能系统铺平道路！

目前主流方法

大多数工业级系统利用多传感器融合（MSF）策略来避免单个传感器固有的感知限制，从而更可靠地感知环境。例如，相机和激光雷达通常在自动驾驶汽车中融合，因为相机在捕捉语义信息方面更有效，而激光雷达可以提供更准确的位置信息。如图1（右部分）所示，相机-激光雷达融合中的每个传感器首先单独感知周围环境。然后，基于传感器之间的时间和空间校准，将来自不同传感器的信号转换到同一坐标系中，并在时间戳上进行匹配。最后，融合模块接收来自不同传感器的校准和同步信号，并将其融合以对下游任务进行预测。

与传统的只融合数据或输出的MSF不同，基于AI的MSF也有可能融合CNN学习到的深层语义特征，以相机和激光雷达的融合为例（图1的右部分）。根据融合的阶段（图2），MSF可以在高水平上分为四种不同的机制：早期融合、晚期融合、深度融合和弱融合，由于早期融合在MSF中并不常用，在本文的其余部分重点介绍了其他三种融合机制！

后期融合直接组合每个分支的输出结果，其可以公式化为：

后期融合中的每个分支独立处理来自传感器的数据，不依赖于特定的网络架构。与其他融合机制相比，后期融合具有高度的灵活性。例如，后期融合可以很容易地将基于图像的目标检测器和基于激光雷达的目标检测器相结合，后期融合不涉及隐藏特征交互，这也带来了更高的效率！

深度融合涉及来自不同分支的隐藏特征之间的频繁交互，以获得丰富的语义信息。假设分支的深度𝑖 大于分支的𝑗, 当只进行一次特征融合时，深度融合可以公式化为：

弱融合不会融合隐藏的特征，也不会融合输出结果。相反，弱融合采用基于规则的方法来转换一个分支的数据，以指导另一个分支中的数据处理。弱融合的过程可以描述为：

其中G是从分支中提取引导的函数，弱融合的一个典型例子是使用图像中的2D检测边界框作为指导提取点云数据中的截头体。

基准构建

为了研究收集尽可能多的MSF感知系统，主要关注两个来源：（1）KITTI基准的排行榜，以及（2）现有的MSF相关文献。KITTI是一个公共自动驾驶基准，涉及几个不同的感知任务。对于MSF相关文献，收集了过去四年在相关顶级会议和期刊上发表的论文，涵盖软件工程、机器人技术、计算机视觉等，最终，我们根据以下标准从这两个来源中选择了7个最先进的MSF系统！

• 开源：MSF系统应该是开源的，这样就可以进行实验评估，并进行进一步的复制研究。

• 可用数据：MSF系统应具有用于训练和测试的开源数据。

• 代表性任务：MSF系统应设计用于具有现实世界应用的代表性感知任务，例如目标检测。

表1总结了本文基准测试中选择的七个MSF系统，这七个系统涵盖了三个不同的任务和三种不同的融合机制。

与设计阶段的环境相比，许多MSF系统的操作环境通常是开放的，存在意外的条件变化。由于ML和DL的数据驱动性质，这种环境变化对MSF系统更为关键，例如，自动驾驶系统的检测器可能只使用从晴天收集的数据进行训练。尽管自动驾驶系统在雨天预计是安全可靠的，但很难确定该系统能在多大程度上应对这种天气变化。也就是说，开放环境中的天气变化可能导致传感器信号损坏，导致数据的潜在分布变化，从而影响MSF系统的性能。

为了评估MSF系统在这种操作环境变化下的性能，收集和标记真实世界的数据是理想的，但不可行。为了解决这些问题，本文收集并设计了13种损坏模式（表2），以合成MSF系统的损坏信号，这些损坏信号可分为三类：（1）天气损坏（2）传感器损坏和（3）传感器未对准。天气损坏表示MSF系统的外部环境变化，例如，自动驾驶汽车、无人机的雨天/雾天和明亮/黑暗的光线条件等，传感器损坏反映了MSF系统内部环境的变化，例如传输噪声。考虑到不同信号的融合需要精确的时间和空间校准，传感器未对准是专门为MSF系统设计的。

1）天气

天气条件是一个重要因素，它不可避免地会影响传感器在开放环境中的感知，导致MSF系统的性能下降，例如，普通相机在夜间几乎无法感知周围环境。这项工作从两个角度利用天气模式：（1）光照条件变化和（2）恶劣的天气条件。

相机对照明条件敏感，日光和道路照明的变化很容易影响图像质量，而照明条件对激光雷达的影响有限。因此，主要关注调整图像像素的亮度（BR）和暗度（DK）。在基准测试中，选择特定领域的物理模型来模拟两种具有代表性的不利天气的特性，即雨（RN）和雾（FG）。设计雨或雾腐蚀时的另一个关键问题是确保不同的传感器感测相同的环境，例如，相机和激光雷达都感测10mm/h的降雨。为了解决这个问题，控制激光雷达和相机模型中的环境参数，以确保雨的体积或雾的最大能见度的一致性！

为了验证雨雾破坏的自然性，训练基于深度融合的分类器，使用从真实雨雾天气中收集的数据集来区分真实的雨雾场景和干净的场景。然后，我们使用这些训练好的分类器对模拟数据进行预处理，以测量模拟数据和真实数据之间的相似性。对每个分类器进行五次再训练，并取平均精度。在模拟雾/雨数据上，这些训练的天气分类器的平均分类准确率分别为98.6%和98.0%。这些结果证实，与真实数据相比，模拟的雾/雨数据高度相似。

2）传感器

传感器损坏，传感器损坏反映了导致传感器信号损坏的内部环境变化，例如传输过程中的噪声，以及导致图像模糊的传感器伪影。在这个基准测试中，从两个角度考虑传感器损坏：（1）噪声模式和（2）传感器伪影。

噪声模式。噪声通常存在于相机和激光雷达中，噪声有两个主要来源，一个来自传感器本身，如传感器振动、随机反射和激光雷达激光器的低测距精度。另一种是由于数字信号在其传输记录过程中，为每个传感器利用两种最常见的噪声，即高斯噪声（GN）和脉冲噪声（IN）。具体来说，高斯噪声将高斯分布噪声应用于点云中的每个点的坐标或图像中的每个像素的值。脉冲噪声将确定性扰动应用于点的子集或随机改变图像像素的值。

传感器伪影。传感器损坏也可能导致感测结果的伪影，例如，当相机失焦时，会出现散焦模糊（DB）；当相机快速抖动或移动时，会出现运动模糊（MB）。畸变（DT）是由透镜的光学设计引起的常见的基本光学像差之一，请注意，作为早期尝试，我们只考虑相机传感器的伪影。

3）传感器未对准

校准良好且同步的传感器是基于MSF的感知系统的先决条件。然而，要保证传感器在现实世界中的完美对准并不容易，因此本文设计了两种破坏模式，空间错位（SM）和时间错位（TM），以模拟相机和激光雷达之间的错位！

空间错位。MSF系统要求在装配过程中对每个传感器进行外部校准，以确保在不同坐标系中测量的位置可以相互转换。然而，即使使用标定良好的传感器，由于机械振动（例如，当自动驾驶汽车行驶在颠簸的道路上时）和热波动，传感器的位置也可能不可避免地发生偏差，假设激光雷达坐标中的一个3D点是p_{li}和相机坐标中的对应点是p𝑐𝑎𝑚，从激光雷达坐标到相机坐标的转换可以表示为：

时间错位。MSF系统需要同步传感器，以确保同时感测每个单独分支的输出。在实际场景中，传感器或传输故障可能会导致一个分支延迟，导致时间错位。

4）评测指标

实证研究设计

本节介绍了研究问题和实验设置，首先从三个角度研究了现有MSF系统的鲁棒性：（1）对抗破坏信号（RQ1），（2）对抗空间/时间失调（RQ2），以及（3）对抗部分/完全信号丢失（RQ3）。然后研究了修复这些MSF系统的鲁棒性（RQ4）的潜力。

RQ1：MSF感知系统如何对抗常见的损坏信号？尽管已经提出并使用了一些支持的MSF感知系统，但尚未对这些系统的稳健性进行系统研究。在这个RQ中，关注由于天气、传感器和噪声损坏而导致的损坏信号（表2）。对于每种损坏模式，采用三种不同的严重程度。对于雨和雾，三个严重级别分别代表10毫米/小时、25毫米/小时和50毫米/小时的降雨量以及104米、80米和51米的能见度。用231种不同的配置（11个损坏×3个级别×7个MSF系统）进行了实验来研究这种RQ。

RQ2：当面临传感器的空间和时间错位时，MSF有多敏感？RQ2旨在评估启用MSF系统对校准误差的敏感性。为了模拟空间错位，将激光雷达传感器绕x、y和z轴旋转0.5◦, 1◦, 和2◦, 分别地为了模拟时间错位，创建了五个级别的激光雷达和相机信号延迟，即分别为0.1s、0.2s、…、0.5s。这里只研究时间错位对目标跟踪系统的影响，因为其他两项任务对时间不敏感。

RQ3：现有传感组件在多大程度上与MSF系统耦合？该RQ旨在研究现有的MSF系统是如何耦合的，以及它们是否对一个信号源的信号丢失足够鲁棒。为了研究这种RQ，模拟了每个分支的五个不同水平（10%、25%、50%、75%、100%）的信号损失。对于相机分支，将图像重塑为一维阵列，并随机丢弃像素。对于激光雷达分支，随机移除具有不同的百分比的点。

RQ4：不同MSF机制的弱点是什么？有可能修复它们吗？RQ4旨在研究不同融合机制的特性，并根据RQ1-3的实验结果分析每种机制的弱点或潜在威胁。

实验设置

在实验中，使用Second作为CLOC和DFMOT的激光雷达分支，Cascade RCNN作为CLOC、DFMOT和FConv的相机分支。使用PyTorch1.8和Python3.7实现了所有MSF系统。对于每个系统，使用默认配置来确保一致的运行时环境，表1显示了每个再生系统的性能。所有实验都是在配备Intel i7-10700K CPU（3.80 GHz）、48 GB RAM和NVIDIA RTX 3070 GPU（8 GB VRAM）的服务器上进行的。

1）对损坏的信号不鲁棒

图4通过雷达图总结了七个MSF感知系统对十一种损坏模式的稳健性基准结果。图中的每个轴表示稳健性得分𝑅𝑏^𝑠_𝑐，这些结果表明，所有选定的MSF系统都存在对损坏信号的鲁棒性问题，而它们的鲁棒性特性可能会有所不同。例如，所有选定的系统在防雾（FG）损坏方面表现不佳。然而，对于模糊效果（MB、DB），一些系统执行相对鲁棒性（例如，EPNet、TWISE、JMODT），而一些系统面临严重的鲁棒性问题（例如CLOC、FConv、DFMOT）。为了进一步分析不同的MSF系统对不同类别的损坏信号的表现，通过呈现三个严重级别的每个损坏模式的平均性能来解释表3中的详细鲁棒性性能！

如表3所示，天气问题对MSF系统造成了显著的鲁棒性问题，其中对雨（RN）和雾（FG）的平均鲁棒性得分分别为0.72和0.29。我们还发现，深度补全系统（即TWISE、MDANet）在雾天几乎不工作，深度补全系统中的最高鲁棒性得分仅为0.14。此外，与增加亮度相比，降低亮度对MSF系统的影响更为显著，其中平均鲁棒性得分分别为0.83和0.96！

虽然所有的MSF系统对失真都是相对鲁棒的（鲁棒性得分高于0.9），但其中一些系统（即FConv、CLOC、DFMOT）对模糊效应（MB、DB）尤其具有显著的性能退化，进一步定性地检查了被失真（DT）破坏的图像信号，发现只有图像的边缘被失真，这可能是DT影响有限的一个可能原因！

如表3所示，在MSF系统中，被噪声模式破坏的相机信号通常更容易受到攻击，其中相机中对噪声的鲁棒性得分（74.4（GN），74.2（IN））低于激光雷达（87.9（GN）和89.6（IN）。基于这些观察结果，为图像添加适当的过滤器信号对于设计具有强大的MSF可能很重要。

2）MSF对传感器错位很敏感

表4显示了空间错位的实验结果，其中每个单元表示鲁棒性得分。根据不同旋转轴和角度的平均鲁棒性得分（表4的最后一行），可以发现空间失准显著影响MSF的鲁棒性。七个系统中的最高平均鲁棒性得分低于0.78，还发现不同任务的MSF系统对空间错位可能具有不同的敏感性。例如，目标检测系统（即EPNet、FConv、CLOC）的鲁棒性得分相对低于目标跟踪和深度补全系统！

时间错位。图6显示了时间错位对用于目标跟踪的MSF系统（即JMODT、DFMOT）的影响。从图中我们可以观察到，相机和激光雷达分支都对延迟敏感。当延迟增加时，MSF系统的鲁棒性得分降低。特别发现激光雷达对延迟更敏感（图6中的实线）。当激光雷达的延迟增加到0.3秒时，JMODT和DFMOT的鲁棒性得分下降了近60%（从1.0降至0.4）。相比之下，相机的相同级别延迟只会使其鲁棒性性能下降10%～20%！

3）紧耦合MSF可能不那么鲁棒

当部署一个MSF系统时，即使其中一个信号丢失，开发人员也希望它是可靠的。然而，我们的实验表明，MSF系统的鲁棒性较差，因为当它们部分或完全失去信号源时会崩溃。图7显示了具有不同严重程度信号损失的不同MSF系统的鲁棒性，这些结果表明，部分丢失相机或激光雷达信号可能会影响MSF系统的性能，而丢失相机信号可能更为关键。具体来说，我们发现与失去LiDAR信号相比，相机信号显著影响7个系统中的6个系统（EPNet除外）。当丢失75%的摄像机信号时，7个选定系统中有4个系统的鲁棒性性能较低(𝑚𝑅𝑏 小于0.2），这些结果还表明，现有的MSF系统严重依赖于相机信号。

为了进一步研究MSF系统对信号损失的鲁棒性，表5显示了这些系统在完全失去一个信号源时的鲁棒性性能。可以发现，当失去激光雷达信号时，所有系统都会崩溃。当丢失摄像头信号时，7个系统中有3个也会崩溃，2个系统性能较差（例如EPNet、JMODT）。令人惊讶的是，发现MDANet在完全丢失相机信号时不会崩溃，但在丢失部分信号时会崩溃（见图7c）。一种可能的解释是，由于图像数据中对象的稀疏性，丢弃50%或75%的像素可能会丢弃所有有价值的信息（例如，包括目标的像素）。相反，剩余的像素可能会给MSF系统带来干扰，从而导致系统崩溃！

4）融合机制可能会影响MSF的稳健性和可靠性

虽然没有系统的证据表明一种特定的融合机制是最稳健和可靠的，但特别发现，不同的融合机制由于其固有的特性，可能具有独特的优势和潜在的威胁。根据在RQ1中的发现，三个深度融合MSF系统（即EPNet、JMODT、TWISE）比其他系统对模糊图像（MB、DB）和噪声模式（IN（C）、IN（L））更具鲁棒性（表3）。在RQ3中的发现，当部分丢失相机信号时，这些系统也表现稳健（图7）。两个后期融合MSF系统（即ClOCs、DFMOT）显示出针对损坏信号（RQ1）和信号损失（RQ3）的相似趋势。为了进一步研究融合机制对鲁棒性的影响，我们试图基于不同融合机制的固有特性来修复表现不佳的后期和弱融合MSF系统。

为了改进后融合，利用激光雷达分支和融合层之间的快捷方式来增强MSF的鲁棒性（图8的左侧部分）。具体来说，设计了一种匹配方法，将单个分支的高置信度和唯一性结果聚合到融合结果中。

弱融合使用级联架构来串联连接两个模块，其鲁棒性性能瓶颈是由于引导信号不准确/缺失造成的。因此，对于弱融合，利用神经网络从另一种模态中提取额外的引导，并将其作为额外的制导分支连接到下游模块（图8的右部分）。具体来说，首先通过将点云投影到2D前视图图像来训练2D检测器，然后，我们使用2D前视图的检测结果作为额外的引导输入！

为了评估改进的融合机制的有效性，本文选择CLOCs和FConv作为后期和弱融合系统，并在RQ1和RQ3中进行相同的实验。图9显示了原始MSF和增强型MSF的防损坏性能。可以发现，增强型MSF系统对常见的损坏模式的抵御能力明显更强。此外，表6显示了改进的性能(𝑅𝑏～−𝑅𝑏, 分别是具有/不具有改进的融合机制的鲁棒性得分）。可以发现，增强型CLOCs（CLOCs-Rb）和FConv（FConv-Rb）在对抗部分甚至完全图像信号损失方面表现出了良好的鲁棒性性能。例如，当摄像机信号完全丢失时（表6中为100%），所提出的鲁棒性增强策略几乎完全恢复了MSF系统的性能（表6以红色突出显示）。

模块化冗余是提高系统质量和可靠性的关键途径，通过耦合多个传感器，MSF系统有望对来自一个特定传感器的信号损失具有鲁棒性。然而，本文的实验结果表明，现有工作在设计支持MSF时通常忽略了这一点，导致缺乏稳健性。因此，未来的工作应该考虑设计人工智能支持的MSF系统，该系统在一个或多个信号丢失源的情况下仍然可靠。

参考

[1] Benchmarking Robustness of AI-enabled Multi-sensor Fusion Systems: Challenges and Opportunities                                                         

① 全网独家视频课程

BEV感知、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、协同感知、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码学习）

视频官网：www.zdjszx.com

② 国内首个自动驾驶学习社区

近2000人的交流社区，涉及30+自动驾驶技术栈学习路线，想要了解更多自动驾驶感知（2D检测、分割、2D/3D车道线、BEV感知、3D目标检测、Occupancy、多传感器融合、多传感器标定、目标跟踪、光流估计）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、AI模型部署落地实战、行业动态、岗位发布，欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频，期待交流！

③【自动驾驶之心】技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、BEV感知、多模态感知、Occupancy、多传感器融合、transformer、大模型、点云处理、端到端自动驾驶、SLAM、光流估计、深度估计、轨迹预测、高精地图、NeRF、规划控制、模型部署落地、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流等方向。扫码添加汽车人助理微信邀请入群，备注：学校/公司+方向+昵称（快速入群方式）

④【自动驾驶之心】平台矩阵，欢迎联系我们！