YOdar：基于不确定性的传感器融合，用于带有摄像头和雷达传感器的车辆检测

YOdar：基于不确定性的传感器融合，用于带有摄像头和雷达传感器的车辆检测

（略读）

论文 YOdar: Uncertainty-based Sensor Fusion for Vehicle Detection with Camera and Radar Sensors

摘要

论文中，我们提出了一种基于不确定性的传感器与摄像机和雷达数据融合的方法。两个神经网络的输出，一个处理摄像机，另一个处理雷达数据，以不确定性感知的方式组合。为此，我们收集两个网络的输出和相应的元信息。对于每个预测对象，通过梯度增强方法对收集的信息进行后处理，以产生两个网络的联合预测。在我们的实验中，我们将YOLOv3目标检测网络与定制的一维雷达分割网络相结合，并在nuScenes数据集上评估我们的方法。
我们特别关注夜间场景，其中基于摄像机数据的目标检测网络的能力可能受到限制。我们的实验表明，这种不确定性感知融合方法也具有非常模块化的性质，与单传感器基线相比显著提高了性能，并且在专门定制的基于深度学习的融合方法范围内。

介绍

计算机视觉系统在自动驾驶中面临的最大挑战之一是在任何特定情况下正确识别汽车环境。在有限的计算资源下运行时，必须正确解释不同传感器的数据。除了密集的交通，不同的天气条件，如太阳、大雨、雾和雪，对最先进的计算机视觉系统来说都是一个挑战。先前的研究表明，使用多个传感器，即所谓的传感器融合，可以提高目标检测精度，例如，当组合相机和激光雷达传感器[1{5]时，到目前为止，包含使用雷达数据和另一个传感器的真实街道场景的数据集是一个例外，尽管使用不同传感器（如相机和雷达传感器）的合成数据可以使用卡拉[6]或LSGVL[7]等模拟器生成.随着nuScenes数据集[8]的发布，科学界获得了使用不同传感器（包括雷达）记录的真实街道场景。总共有5个雷达传感器分布在汽车周围，用于生成数据。自那时以来，在nuScenes数据集的帮助下，将雷达与其他传感器相结合的传感器融合的已发表论文数量有所增加，例如[9{11]。我们现在简要回顾一下这些方法。
文献[9]的作者提出了一种用于目标检测的卷积神经网络（CNN），称为RVNet，它具有两个输入分支和两个输出分支。一个输入分支处理图像数据，另一个处理雷达数据。与YOLOv3[12]类似，该网络利用两个输出分支提供边界框预测，即一个分支用于检测较小的障碍物，另一个分支用于检测较大的障碍物。作者得出结论，在二元分类框架中，雷达特征可用于检测道路障碍物。另一方面，由于数据的稀疏性，从雷达数据中提取的特征在多类别分类框架中似乎没有用处。
用于目标检测的另一种基于深度学习的雷达和摄像机传感器融合是CRF网络（CamerarAdarfusionet）[10]，它自动学习两个传感器数据的融合在哪个级别对目标检测最有利。CRF网络使用所谓的BlackIn训练策略，并结合一个视网膜网（VGG主干网）、一个定制设计的雷达网络和一个用于分类和回归问题的特征金字塔网络（FPN）。主分支由五个VGG块组成，每个块接收预处理的雷达和图像数据进行进一步处理，然后转发给FPN块。该网络在nuScenes数据集和自建数据集上进行了测试。
作者提供的证据表明，BackIn训练策略利用了最先进的目标检测网络的检测分数。

此外，在[11]中介绍了激光雷达和雷达的融合方法。该方法设计用于行人、自行车、汽车和噪声（感兴趣的空白区域）类的多类目标检测。为此，首先分别处理激光雷达和雷达数据。
激光雷达分支检测对象并随时间跟踪它们。另一方面，雷达分支提供目标分类，其中对距离多普勒角度谱应用三个独立的快速傅里叶变换（FFT）。时间同步后，两个分支合并，形成感兴趣的区域。基于VGGNet架构，这些区域被馈送到CNN，该架构计算类概率。由于该方法适用于车辆和噪声分类，但存在行人和骑车人分类问题，因此通过在分类器上应用跟踪滤波器对网络进行了改进。他们使用了一个贝叶斯过滤器，这提高了两个具有挑战性的类别的分类性能。
综上所述，[9,10]提出的工作旨在同时融合和解释CNN内的图像和雷达数据。在[11]中，激光雷达和雷达数据首先融合，然后CNN处理融合后的输入。
虽然这些方法在最大限度地提高性能方面是有益的，但在传感器丢失的情况下，它们需要额外的回退解决方案。与其他传感器融合解决方案相比，我们的方法保留了冗余使用两个网络的选项。
这样，只有一个网络的指示可用于场景构建，该场景构建可替代融合方法提供的主场景。
传感器融合方法似乎不可避免地需要额外的不确定性度量来验证所开发方法和网络的质量。在[13]中引入了一种称为MetaSeg的语义切分工具，该工具在切分级别上估计预测质量，并在[14{16]中进行了扩展。它学习预测预测成分是否与基本事实相交，这可以被视为两类之间的元分类（IoU=0和IoU>0）。
为此，从CNN的输出中导出度量，并将其传递给另一个元分类器。[17]扩展了假阳性检测的工作，只需支付少量额外的假阳性，就可以减少被忽略对象的数量。
MetaSeg抑制了误报的过度产生。按照这些不确定性量化方法，我们使用来自两个CNN输出的度量。我们将它们传递给梯度增强分类器，这样可以减少误报预测的数量。此外，通过降低目标检测的得分阈值，我们能够改善各个单传感器网络的性能。