Millimeter-Wave Radar and Vision Fusion T arget DetectionAlgorithm Based on an Extended Network

标题：基于扩展网络的毫米波雷达与视觉融合目标检测算法

摘要:随着智能驾驶从初级驾驶员辅助到高级自动驾驶的发展，车辆作为独立智能个体感知外部环境信息的需求日益增长。普通的独立传感单元感知外部环境的能力受到传感器自身特性和算法水平的限制。因此，普通的独立传感单元无法在雨、雾、夜间等条件下独立获取全面的传感信息。在此基础上，结合车载传感元件的互补感知性能、成本效益和独立检测技术的成熟度，提出了一种基于扩展网络的毫米波雷达与视觉融合目标检测算法。本文通过对毫米波雷达与视觉融合技术路线的分析，首次采用特征级融合。算法在nuScenes数据集和自制数据采集平台的测试数据上进行训练和测试评估。在此基础上，对基于VGG-16+FPN骨干检测网络的RetinaNet一级(One-stage)目标检测算法进行了深入研究，引入毫米波雷达图像作为辅助信息进行视觉图像目标检测。我们使用双通道雷达和三通道视觉图像作为融合网络的输入，提出了一种适用于毫米波雷达与视觉融合的VGG-16扩展网络和一种扩展特征金字塔网络。测试结果表明，与纯视觉图像目标检测的参考网络相比，所提网络的mAP值提高了2.9%，小目标精度提高了18.73%。这一发现验证了所提出的扩展融合目标检测网络对视觉不敏感目标的检测能力和算法的可行性。

关键词:智能驾驶汽车;多传感器融合;目标检测;扩展网络

1.介绍

        随着车辆防撞、车道保持、自动巡航控制等技术的不断发展，对自动驾驶车辆传感能力的需求逐渐增加。独立传感单元，如毫米波雷达、超声波雷达、具有良好外部传感能力的视觉摄像机等，已逐渐应用于车辆目标检测。然而，单一类型的传感单元无法满足车辆自动化增强对传感能力的需求，研究人员正逐渐将研究重点从单传感器传感转向融合传感方向。基于视觉摄像头的图像目标检测技术在众多研究者的共同努力下已经成熟并可应用于实际场景。

        Krizhevsky等人在视觉识别挑战赛中提出了深度卷积神经网络AlexNet，为深度学习目标检测领域的研究奠定了基础。Girshick等人提出了一种基于卷积神经网络的R-CNN检测模型，用于识别可能存在目标的候选区域。He等人建立了空间金字塔池化算法SPPNet来解决R-CNN中输入图像固定大小的限制。该算法在小目标检测方面优于之前提出的YOLO算法，提高了对小目标的检测能力。雷达成像已被广泛研究。Chen开发了一种扩展算法，可以有效避免能量分布不平衡带来的误差。Dong提出了一种合成孔径雷达压缩感知算法，为多传感器融合提供了思路。

        视觉目标检测经历了传统目标检测算法和基于深度学习的目标检测算法两个发展阶段，显著提高了图像目标的检测精度和速度。然而，单纯基于视觉的目标检测在处理复杂场景(如多个目标重叠、密集交通中的行人检测和雾霾天气)时仍然存在固有的缺点。毫米波雷达在对目标的探测中，从目标位置、速度等状态数据的估计上，表现出了可以接受的探测能力。然而，使用毫米波雷达执行任务，如目标类别和目标车道估计，存在局限性。因此，许多研究者考虑了多传感器融合方法在目标检测中的应用。

2.相关工作

        多传感器融合目标检测的目标主要是利用多个传感器在多种条件下的互补特性，如检测能力、生产、维护成本和稳定性。毫米波雷达与视觉融合的研究仍处于起步阶段，由于缺乏公开的包含毫米波雷达数据的数据集，研究受到了限制。随着nuScenes数据集和CARLA等仿真软件的发布，基于毫米波雷达的融合算法逐渐引起了研究的关注。

        Ji等人在一个简单的神经网络中为图像目标检测与雷达检测创建了感兴趣的区域，用于目标检测。许多研究也利用毫米波雷达探测来指导图像目标检测。Jin等人通过探索毫米波雷达与视觉融合在时空维度上的融合，在图像检测感兴趣区域的基础上实现了多个目标的检测与识别。Song等人应用具有图像三维目标检测的毫米波雷达，根据目标的径向距离划分传感器任务，进行多传感器监督下的危险目标检测和分类。Vijay等人提出使用RVNet与毫米波雷达结构和相机图像数据作为卷积神经网络的输入。Jha等人利用毫米波雷达和视觉传感器的独立探测结果进行决策融合算法。Lekic等人利用一种基于对抗网络的深度学习方法，将相机和毫米波雷达数据融合到鸟瞰视图中，进行自由空间探测。Chadwick等人将毫米波雷达数据投影到图像平面，利用深度神经网络进行检测，通过串联融合将雷达特征与视觉特征融合，在作者自定义的数据集中取得了令人满意的性能。

        毫米波雷达和视觉融合技术在小目标检测方面具有优势。Aziz等人提出了一种融合毫米波雷达和视觉信息来实现目标检测的算法框架。Chang等人提出了一种基于空间注意力融合的毫米波雷达与视觉融合目标检测算法，通过引入空间注意力模块来提高对小且最小确定性目标的检测。Nabati等建立了一种基于中心的毫米波雷达与视觉融合的三维目标检测算法，实现了毫米波雷达与视觉目标的关联。Jhon等人在弱探测环境下使用毫米波雷达、视觉摄像机和热成像摄像机，提高了视觉摄像机在夜间、雨水和大雾条件下的目标探测能力。Nabati等人根据雷达点检测目标的不确定性，从检测帧中心向周围展开，得到了一组检测先验帧，用于图像检测。Wang等人利用坐标变换配合车辆边缘检测，弥补了车辆单传感器检测的不足。Wang等人融合了注意力机制和驾驶员意识来提高综合性能。

        基于毫米波雷达与视觉信息的融合算法的研究主要集中在决策层。该方法是将独立毫米波雷达和视觉检测结果按照既定逻辑进行融合，但检测率和环境适用性仍有待提高。因此，本文提出了一种基于毫米波雷达和视觉原始信息的多层特征融合的扩展目标检测网络，以提高复杂天气条件下模型的检测精度和鲁棒性。

3.方法

3.1 FPN扩展网络

        研究人员通常从检测网络的每一层分别预测特征，因此随着特征深度的增加，特征图中信息的有效性降低，使得算法在小目标检测中无效。所提出的特征金字塔网络(FPN)可以为多尺度特征的目标检测提供一个满意的解决方案。它主要解决目标检测中的多尺度问题。FPN采用自顶向下的横向连接结构，将底层位置信息与高层次语义信息丰富的特征图融合在一起。获得了存储在新特征图中的底层目标位置信息，提高了对小尺度目标的检测能力。从不同卷积层获得的深度特征使用1 × 1卷积核进行通道匹配，融合的特征图使用3 × 3卷积核处理，以减少不同层的特征融合造成的混淆影响。我们以三层FPN为例，并对其进行扩展。FPN结构如图1a所示。

 图1.特征金字塔网络及其延伸。C表示CNN的卷积层，P表示预测层。

(a) FPN结构;(b)扩展FPN (E-FPN)

        对深度特征进行上采样，通过加法(Add)与浅特征融合，得到图像特征C1、C2、C3语义增强的特征图P1、P2，提高算法对小目标的识别能力。在FPN及其在多层语义信息综合方面可接受的性能基础上，检测结果仍有提高的空间。我们提出如图1b所示的扩展FPN (E-FPN)。该算法将相应尺度的毫米波雷达特征加入到P1、P2和P3特征图中进行串联(级联)融合，通过FPN提取P1、P2和P3特征图，得到增强的P1_E、P2_E和P3_E融合特征图进行预测。在本研究中，我们使用了一个七层FPN来执行传感器数据融合检测任务。我们还在3.2节中扩展了VGG网络。

3.2 VGG扩展网络模块设计

        VGG网络是由牛津大学的视觉几何小组（Visual Geometry Group）提出的，作为实验室名称的缩写。VGG的研究说明了它在ImageNet 2014挑战中的一些发现，并表明可以通过重用底层块来构建深度模型。VGG网络的块结构如图2a所示。CNN基块一般构造如下:卷积层;非线性激活函数，如ReLU;和一个池化层，比如最大池化层。VGG研究中提出的方法旨在使用几个连续的相同卷积层，填充（padding）为1，窗口形状为3 × 3，然后使用步长为2，窗口形状为2 × 2的最大池化层。卷积层保持输入和输出的高度和宽度不变，而池化层则将输入的大小减半。在VGG网络的基础上，我们提出了扩展的VGG网络。

 图2.VGG网络模块和扩展模块。(a) VGG-16模块。(b)扩展VGG网络模块。

        扩展生成的雷达图像中包含两个通道:雷达截面(RCS)和距离通道。雷达图像大小与视觉图像大小相同。重新设计了VGG网络块结构，以适应“毫米波雷达-视觉图像”扩展图像作为网络输入，并将雷达图像特征纳入卷积网络。图2给出了VGG和扩展VGG网络的模块结构。如图2b所示，扩展后的VGG网络使用毫米波雷达双通道图像和可视(R, G, B)三通道图像作为网络输入。图像通道完成原始VGG块的卷积和池化，并与毫米波雷达图像特征进行拼接。然后将得到的特征映射作为下一层VGG块的输入。

        本文基于VGG-16+E-FPN扩展的RetinaNet的毫米波雷达扩展目标检测网络与视觉融合的先进架构如图3所示。扩展后的VGG-16骨干检测网络结构如图3左侧所示。同时，扩展FPN结构在中间虚线框中说明。

 图3.扩展目标检测网络的先进体系结构

        从图3可以看出，扩展后的网络结构以毫米波雷达图像2通道和视觉图像3通道为输入，通过串联融合将视觉图像特征与雷达图像特征级联为复合特征(复合特征通道数=预串联雷达特征通道数+预串联图像特征通道数)。扩展后的VGG骨干探测网络各层的复合特征输出分别为C5_reduced、C4_reduced和C3_reduced，雷达特征映射为R1、R2、…R7。从VGG骨干探测网络获得的融合和雷达特征被用作E-FPN的输入。同时，利用扩展金字塔网络得到的扩展特征图P3_E、P4_E、P5_E、P6_E、P7_E作为目标网络的输入。

        毫米波雷达和图像像素点之间在像素所包含的信息量上可以观察到一个根本的区别。雷达图像使用目标距离作为像素值，而视觉图像中的目标信息必须由单个像素点和附近的像素点共同表示。雷达图像与视觉图像的浅融合与两者所表达的信息相关性很差，因为输入信息显示出最小的语义相似性，仅间接地关联特征。深度网络中的输入数据可以表示越来越密集的语义信息，并提供分类任务所需的特征信息。因此，选择深度卷积特征C5_reduced、C4_reduced、C3_reduced作为特征输出，以保证FPN中多尺度图像的展开以及深度特征中毫米波雷达与视觉信息的语义相似性。在网络训练过程中，可以对不同雷达特征层的权值进行相应的调整，使网络进行自适应训练，并且通过融合在E_FPN中具有金字塔网络输出特征P3_E、P4_E、P5_E、P6_E、P7_E的毫米波雷达特征R1、R2、…R7等，获得最优的预测分类效果。

4.结果

4.1 评价指标

        本文提出的基于毫米波雷达与视觉融合的目标检测算法，旨在通过基于毫米波雷达数据的引导网络来增强图像目标检测。在图像目标检测的评价中，目标分类评价是基于平均精度，而目标定位评价是基于交集和归并比。评价指标如下:

(1)True Positive (TP):IoU的预测值和真值框均大于阈值，并且分类正确。

IoU是两个区域重叠部分除以两个区域相加部分的结果。通过设定阈值，将结果与IoU计算结果进行比较。IoU的定义如下：

 (2) False Positive (FP):预测框包含目标但没有真值框或者带真值框的IoU小于阈值.

(3)False Negative (FN):一种漏检的情况，虽然目标是真实的，但没有对真实目标进行预测。

(4)Precision(精度):在所有检测到的IoU满足阈值的目标中，正确分类的目标的比例。

(5)Recall(召回率):在所有真值目标中，检测到分类正确和IoU大于阈值的目标的比例。

精度和召回率的计算方法如下:

 4.2 数据集介绍

        自动驾驶数据集通常围绕视觉图像和激光雷达原始数据进行设计。公共数据集缺乏毫米波雷达数据，自建数据集可用性低，在一定程度上阻碍了集合的发展。当2019年nuScenes数据集发布时，这个问题逐渐得到缓解。nuScenes数据集是由Motional团队开发的用于自动驾驶的大型公共数据集。数据集在波士顿和新加坡收集，每个驾驶场景约为20秒，共1000个。

        本工作还通过HYPERVIEW智能驾驶汽车平台进行传感器数据采集，对算法进行测试验证。图4为包含毫米波雷达、视觉摄像头、激光雷达的整车采集平台物理示意图。

图4.NuScenes数据采集平台传感器配置。(a)车辆收集平台。(1)是摄像头(2)是毫米波雷达

                                                                         (b)是HMI工具界面

        自建毫米波雷达数据采集平台采用ProtoBuf和SQLite数据压缩，路测时进行视觉图像采集。毫米波雷达具体参数如表1所示。

表1:大陆ARS410毫米波雷达工作参数。

        数据采集与回放HMI工具界面如图4b所示。该工具用于获取毫米波雷达结构数据和实时显示的视觉图像，同时存储自车辆运动信息和传感器时间戳。

4.3 融合网络与参考网络检测效果比较

        nuScenes数据集中的图像和生成的雷达图像宽度和长度被调整为360 × 640作为网络的输入。本节将介绍nuScenes和自构建数据集中的主观检测结果 。

        在车载毫米波雷达技术应用中，毫米波雷达探测到的障碍物分布在毫米波雷达视场(FOV)内的俯视图平面。因此，它不包含目标在垂直方向上的物理坐标，可以投影到二维平面上进行可视化和数据表示。投影方法选用小口径效能模型中的经典坐标变换方法。它可以以点云图的形式表示在图像和像素平面上进行映射。

        图5显示了在nuScenes数据集的测试集上执行的融合网络与参考网络的目标检测效果对比。图6给出了融合网络与参考网络在自制数据集上的目标检测效果对比。图5和图6中使用的参考网络是基于VGG-16+FPN骨干检测网络的RetinaNet目标检测网络。图5中的每一列都对应一个场景。第一行显示了用于预测的毫米波雷达点云在视觉图像上的投影。第二行表示所述扩展目标检测网络的第一个扩展VGG检测块的特征输出和所述参考网络的第一个VGG检测块的特征输出。第三行表示扩展网络的第一个检测块与参考网络的特征差异。第四行代表扩展目标检测网络P3_E和参考网络P3的特征输出。第五行描述了扩展网络与参考网络FPN-P3 (P3_E)的特征差异。第六行显示了扩展目标检测网络P5_E和参考网络P5的特征输出。第七行是扩展网络与参考网络FPN-P5 (P5_E)的特征差异。第八行展示了所提出的扩展融合目标检测网络的检测效果。最后，第九行展示了参考网络的检测效果。

 图5.NuScenes数据集检测结果的比较

         从图5的对比分析可以看出，融合目标检测网络在难以识别的特征场景下显示了增强的识别和分类效果，如远距离的小目标(如阴影中的行人)、纹理重叠相似的多个目标(如第二列的多辆白色货车)、以及被雨水遮挡的行人目标(根据雷达扩展图像在径向不同距离上叠加特征)。以融合网络第一列检测到的小型行人目标为例。在P3_E和P3的特征差图像对应的位置，行人的位置有明显的雷达输出特征。同时，以融合网络第二列检测到的大型目标货车为例。多辆白色面包车重叠且纹理轮廓不明显，在参考网络图像目标检测中无法识别和分类，但在基于雷达图像通道的融合网络中可以获得满意的检测结果。

 图6.数据采集平台检测效果比较

        融合目标检测网络在夜间场景和阴天环境下对小远程目标的识别(图6)以及在自制数据集中对小远程目标的检测方面优于参考网络。通过对图6中被检测小目标所在位置的P3 (P3_E)特征增强，可以看出，加入毫米波雷达图像通道信息，可以加强远程小目标和重叠车辆的独立特征识别，有助于检测过程，如第2列所示。

4.4 不同场景下连续检测效果的比较

4.4.1 日间复杂场景目标检测

        图7比较了白天场景连续三帧的目标检测效果。第一行显示了所提出的扩展融合目标检测的效果。第二行是参考网络的目标检测效果。从图中可以看出，本文扩展的融合目标检测网络增强了对小距离目标的检测连续性。在雷达点云特征增强的基础上，对左侧模糊小目标(车辆)可获得满意的检测效果，对图像信息不完整的近视点大货车可实现检测分类。

图7.nuScenes数据集中白天场景连续检测效果比较。 

        如图8和图9所示，在夜景中，一辆车逐渐接近自驾车直到相遇的过程。第一行显示了扩展融合网络的目标检测效果，第二行显示了参考网络在每组图像中的目标检测效果。与使用参考网络相比，扩展融合感知网络在目标接近过程中提前3次检测到目标(图8)。参考网络在目标检测过程中产生分类错误，在图9所示的相遇过程中，由于参考网络逐渐远离视场，失去了对目标的检测能力。

图8.nuScenes数据集中夜间场景的比较。目标存在的持续检测。

 

图9.夜景比较。目标偏离序列检测对nuScenes数据集的影响。

4.4.2 夜间复杂场景目标检测

        从图9的第一行图像可以看出，融合感知检测网络可以获得对远处行人目标的检测。提高恶劣环境下小目标的检测能力，降低可能发生事故的危险目标对自驾车运动状态的影响。

4.5 融合网络与参考网络检测能力分析

        通过从nuScenes数据集的v1.0-test子集中的150个场景中随机选择25个场景，对不同类别目标提出的扩展融合和参考网络进行测试和统计分析。分析结果如图10所示。

 图10.融合网络和参考网络检测目标统计。

        每个类别的探测捕获目标总数已确定(图10)。

        与参考网络相比，扩展融合网络检测到的目标数量整体提高了25.36%，对汽车、行人等大样本目标的检测能力提高，为20%左右(表2)。上节所述的目标检测效果对比分析表明，基于所提扩展网络的融合目标检测算法相比于单一类型传感器的检测效果有明显提高。

表2.来自nuScenes数据集的毫米波雷达数据结构。

4.6 价值的客观分析

        通过从nuScenes数据集的v1.0-trainval子集中提取20%的算法，并将其作为验证集，验证了所提出的扩展融合目标检测算法的实际有效性和检测精度。

        图11给出了所提出的扩展融合目标检测网络(实心部分)和参考网络(虚线部分)在不同类别下的平均精度的统计分析。计算、比较两种算法的总体平均精度(mAP)，然后绘制曲线。

 图11.nuScenes数据集中按类别测试的扩展网络和参考网络的比较。

实线表示所提出的技术，虚线表示参考网络。

        表3列出了nuScenes数据集上按类别划分的不同算法的平均准确率的比较。RRPN是毫米波雷达与视觉融合的目标探测网络。Fast R-CNN和Baseline是纯视觉目标检测网络。由于nuScenes数据集只包含少量的二维目标检测算法，因此与这些算法进行了比较。本文采用RRPN算法中的实时毫米波雷达数据来生成区域建议帧，而不是Fast R-CNN算法中的选择性搜索算法来生成检测帧。该方法提高了选择性搜索算法的准确率和查全率，显著降低了算法的时间消耗。

表3.nuScenes数据集上按AP分类的不同算法的比较。

         mAP指标分析表明，本文提出的基于扩展网络的融合目标检测算法，与本文的RRPN、Fast R-CNN图像目标检测网络和参考网络相比，mAP分别提高了3.5%、4.7%和2.9%(表3)。根据AP指标的分类分析，在nuScenes数据集中，本文提出的检测算法在行人、汽车和拖车等道路上常见目标中取得了最好的性能。本文提出的基于扩展融合的特征级融合目标检测网络，在感兴趣区域的基础上生成检测帧，从融合算法的角度来看，其性能明显优于RRPN算法。本工作根据COCO数据集中不同尺度下AP的定义，采用以下方法验证所提出的融合目标检测方法对不同尺度下目标检测能力的提升效果。

(1) Aps:预测帧面积小于的小尺度目标的平均精度。

(2) APm:预测帧面积在[,]以内的中等尺度目标的平均精度。

(3) API:预测帧面积大于的大尺度目标的平均精度。

         这项工作是针对nuScenes数据集的v1.0-trainval训练验证集进行测试的。从图12和表4可以看出，本文算法在各个尺度上都优于基于视觉参考网络的目标检测算法。对小目标的平均检测精度提高了18.73%，显著高于对大中型目标的检测能力。

图12.nuScenes数据集扩展网络与尺度测试参考网络的比较。

实线表示所提出的技术，虚线表示参考网络。 

表4.本文提出的扩展融合网络与参考网络的尺度AP比较

5.讨论

        智能汽车所处的驾驶环境与其他人工智能机器所处的工作环境不同，速度快、复杂。用于获取图像数据的相机容易受到光线的影响，而用于获取点云数据的LIDAR则容易受到恶劣环境的影响。毫米波雷达不擅长探测静止目标，传感器本身的缺陷使得智能汽车不可能仅靠一个传感器就能完成传感任务。由于激光雷达造价昂贵，本文主要研究如何将毫米波雷达数据与相机数据融合，实现对周围环境的探测。可靠的传感系统是智能汽车在复杂交通条件下正常运行的先决条件，研究人员希望多传感技术不仅可以提高检测精度，而且还可以具有鲁棒性。例如，在弱光环境下，检测目标太小,但传感系统仍然可以正常运行。为此，本文提出了一种融合毫米波雷达和摄像机数据的目标检测算法。 首先，在分析毫米波雷达与视觉融合的可行技术路线的基础上，确定本文的融合路线为特征级融合，并基于nuScenes数据集对算法进行训练和测试评估。然后，引入毫米波雷达图像作为视觉图像目标检测的辅助信息。本文研究了基于VGG-16+FPN骨干检测网络的RetinaNet一级目标检测算法的可扩展性。通过对VGG-16和特征金字塔网络的研究，提出了适用于毫米波雷达和视觉融合的扩展VGG-16网络和扩展特征金字塔网络(E-FPN)。通过在主干检测网络的每一层进行毫米波雷达特征与视觉特征的串联融合，提出了毫米波雷达与视觉融合的深度扩展融合目标检测网络。通过在nuScenes数据集上训练和测试，与纯视觉图像目标检测的(VGG-16+FPN) RetinaNet参考网络(Baseline)相比，本文网络的mAP提高了2.9%，小目标检测精度提高了18.73%，验证了本文提出的扩展融合目标检测网络。也验证了本文提出的扩展融合目标检测网络对视觉不敏感目标的检测能力和算法的可行性。本文的研究对于智能驾驶车辆多传感器融合感知技术的研究，特别是在融合目标检测领域，具有一定的参考价值，对于打破传统单传感器检测能力瓶颈，提高互补传感器的综合感知性能的研究具有积极意义。

6.结论

        目前基于单传感器的感知和基于逻辑的异构传感器融合已经不能满足高级自动驾驶对环境样本信息的深度需求。随着传感器技术研究和目标检测技术的发展进入瓶颈期，智能驾驶的市场化应用短期内不能寄希望于单传感器检测能力的大幅提升。本工作以智能驾驶汽车为基础，以毫米波雷达和视觉检测为研究对象，通过研究多传感器融合目标检测算法，提出了一种扩展的融合目标检测网络，以应对高水平智能驾驶的城市环境和高速道路环境对智能传感能力的更高要求。本文对基于VGG-16+FPN骨干检测网络的RetinaNet算法进行了扩展，解决了RetineNet一级目标检测算法在检测精度方面的不足。提出了适用于毫米波雷达图像和可视图像多通道输入的VGG-16扩展网络和E-FPN。引入毫米波雷达特征提取网络和视觉目标检测网络进行深度融合，并在nuScenes数据集中进行训练。通过对所提网络的验证和与参考网络的比较，所提网络的目标检测率提高了约25%，平均目标率提高了2.9%，小目标的平均精度提高了18.73%。本工作的实验验证了所提出的基于毫米波雷达滤波算法的扩展融合目标检测网络在增强交通环境目标检测应用能力和技术途径方面的可行性，特别是对小目标的检测能力有了很大提高。