论文解读--4D mmWave Radar for Autonomous Driving Perception：A Comprehensive Survey

用于自动驾驶感知的4D毫米波雷达：综合综述

摘要

       自动驾驶技术的快速发展推动了感知系统的不断创新，其中4D毫米波（mmWave）雷达是关键的传感设备之一。利用其全天候操作特性和在具有挑战性的环境中的强大感知能力，4D毫米波雷达在实现高度自动化驾驶方面发挥着至关重要的作用。本文系统总结了4D毫米波雷达在自动驾驶领域的最新进展和关键应用。首先，我们介绍了4D毫米波雷达的基本原理和技术特点，并深入探讨了其在距离、速度、角度和时间维度上的综合感知能力。随后，我们详细分析了4D毫米波雷达在复杂环境中与其他传感器相比的性能优势。然后，我们讨论了使用4D毫米波雷达进行目标检测和跟踪的最新进展，以及该领域的现有数据集。最后，我们探讨了当前的技术挑战和未来的发展方向。本文为研究人员和工程师在自动驾驶感知背景下的4D毫米波雷达的前沿技术和未来发展方向提供了全面的理解。

索引术语—4D毫米波雷达、自动驾驶、感知、多模态融合、3D目标检测。

1 介绍

       自动驾驶技术的兴起，标志着交通领域的深刻变革，旨在实现对周围环境的智能感知和车辆的安全无人驾驶。在这个快速变革的领域，感知系统的关键作用凸显了自动驾驶的实用性和可靠性[1]、[2]、[3]、[4]、[5]。基于感知系统的自动驾驶研究在定义明确且可预测的城市场景中取得了突破。图1显示了3个传感器在3D目标检测应用中的成像能力，不包括传统的毫米波雷达，因为它缺乏成像能力。这些进步为车辆提供了全面的感知能力，加速了城市道路安全驾驶的实现。

图1 摄像头、激光雷达和 4D 毫米波雷达的目标检测示意图。

       然而，在雨雪天气、强风、大雾、错综复杂的道路结构等复杂、高动态、恶劣的环境下，感知系统的研究显得尤为重要[6]、[7]、[8]、[9]、[10]。这些环境构成了交通系统中的长尾场景，也是最有可能引发交通事故的场景之一。这些特殊情况可能会对车辆的感知、决策和控制系统构成更大的挑战。因此，深入研究复杂、高动态、不利环境下的感知问题，是推动自动驾驶技术进步的迫切需要。目标是确保车辆在各种极端条件下能够有效地感知并做出智能决策[11]，[12]。

       在极端条件下，毫米波雷达因其全天候性能、高精度测距和速度测量、穿透能力、抗干扰能力以及多目标检测等优势，在自动驾驶系统中发挥着不可或缺的作用[13]。然而，传统的3D毫米波雷达在目标检测方面存在一定的局限性，特别是在测量垂直高度信息方面。这种弱点在复杂的交通场景中变得明显，例如多层道路和立交桥，在这些场景中，3D毫米波雷达可能难以提供足够准确的垂直位置信息。此外，由于3D毫米波雷达的数据通常仅包含目标的水平位置、距离和速度信息，因此在满足全面的空间感知要求方面存在一定的局限性，尤其是在处理高动态和复杂的环境时。为了应对这些挑战，4D毫米波雷达应运而生。通过融合多输入多输出（MIMO）天线技术，实现了对目标4个维度（距离、方位角、仰角和速度）的全面感知，显著提升了复杂环境下目标的准确检测、跟踪和定位能力[14]。

       点云的稀疏性和噪声干扰给4D毫米波雷达带来了巨大的挑战，因此需要在天线配置和设计、波束宽度、信号处理算法和点云处理等领域进行研究。近年来，研究人员对4D毫米波雷达的关注度越来越高。Harlow等[15]总结了毫米波雷达在机器人技术中的原理和应用领域，但并未特别关注4D毫米波雷达在自动驾驶领域的应用。Han等[16]介绍了4D毫米波雷达的理论背景，包括信号处理工作流程和点云校准方法，总结了其在感知、定位和地图创建中的应用算法。为了提高4D毫米波雷达的全天候、高分辨率探测和成像能力，我们对相关技术进行了全面综述。本文综述了4D毫米波雷达、4D点云数据集和感知应用的发展。

       本文的主要贡献可归纳为：

       1）本文创新性地从4D毫米波雷达的发展及其在4D点云感知中的应用两个方面全面介绍了4D毫米波雷达的相关知识。

       2）为了实现4D毫米波雷达的高分辨率性能，本文详细介绍了波形设计、天线阵列设计、雷达信号处理框架等关键技术。这为未来的研究和开发提供了宝贵的参考。

       3）通过对摄像头、激光雷达、3D毫米波雷达和4D毫米波雷达之间的性能差异进行机理分析，为配置不同场景下的感知系统提供了重要见解。

       4）本文详细介绍了4D毫米波雷达在自动驾驶中的应用，包括现有的数据集、目标检测和跟踪算法。

       本文的结构如下：在第二部分中，介绍了4D毫米波雷达的原理。第三部分比较了4D毫米波雷达与摄像头、激光雷达和传统3D毫米波雷达的性能。基于4D毫米波雷达的目标检测和跟踪算法将在第四部分进行讨论。第五部分介绍了基于4D毫米波雷达的SLAM研究。第六部分介绍了可用的4D毫米波雷达数据集。最后，在第七节中，讨论了4D毫米波雷达的意义和未来前景。

2 4D毫米波雷达的背景

       4D毫米波雷达技术的探索为开发高效的信号处理和目标识别算法奠定了基础，有助于优化其在不同场景下的性能。在本节中，我们将从波形设计、天线阵列设计和信号处理框架三个方面详细介绍4D毫米波雷达的原理。

A.波形设计

       波形设计是4D毫米波雷达的重点研究领域之一。通过精心设计发射的电磁波形，可以实现更好的目标分辨率和探测性能[17]。根据电磁波的辐射方式，可分为脉冲波和连续波两种操作模式。脉冲模式传输周期性调制的脉冲信号，而连续波雷达传输连续波信号。

       由于发射功率的限制，脉冲雷达系统测量的距离很短，复杂度较低，但成本较高。相比之下，连续波（CW）雷达系统主要包括调频连续波（FMCW）和相位调制连续波（PMCW）类型，具有测量距离更长、精度更高、测量复杂度更低、成本更低等优点。CW恒频连续波可以检测目标速度，但不能测量距离，而频移键控（FSK）连续波可以检测运动目标的位置和速度信息，检测时间短，精度高，但不能同时测量多个目标。在汽车毫米波雷达中，线性调频连续波（LFMCW）是最常用的工作模式。它采用线性调频处理和低采样率模数转换器（ADC）等技术，与其他波形相比，具有成本效益和更高的分辨率[18]。它在汽车应用中的普及源于其同时发射和接收特性，理论上消除了与脉冲雷达相关的距离模糊性。此外，由于发射信号的平均功率等于峰值功率，因此只需要低功率设备，从而降低了拦截和干扰的可能性。然而，尽管FMCW雷达在许多方面都具有优势，但它也有一些局限性。.例如，由于其依赖于频率差进行目标测量，因此在处理多目标检测时可能面临挑战[19]。此外，FMCW雷达的性能可能会受到多径效应的影响，因为反射和散射信号会干扰主返回信号[20]。为了克服这些挑战，研究人员正在探索新的雷达技术和算法。例如，一种名为PMCW的新型雷达波形正受到越来越多的关注。与FMCW雷达不同，PMCW雷达通过使用多个天线同时发射正交相位编码信号来测量目标距离和速度。这种方法可以提供更高的距离和速度分辨率，并更有效地处理多个目标和多径效应[20]。PMCW雷达对环境条件具有较强的适应性，具有通过频谱共享实现认知雷达的潜力。同时，PMCW雷达系统表现出优异的抗干扰性能，MIMO PMCW雷达系统的波形分集可以在码域中实现[21]，[22]。

B.天线阵列阵元设计

     天线阵列的设计对于提高分辨率在4D毫米波雷达中至关重要。精心设计和优化天线阵列，可以提高雷达系统在距离、方向、速度等维度的分辨率性能，使其更适合高精度目标检测和跟踪应用。使用多层雷达设计可以提高系统性能和适应性。在此类系统中，微带天线、基板集成波导 （SIW） 缝隙天线和波导腔体天线都发挥着重要作用，每种天线都有独特的特性和应用优势。

       微带天线包括串联天线和梳状天线。串联天线设计简单，天线增益更大，阵列阵元之间的一致性更好。然而，当电磁波以大角度穿过天线罩时，它们会经历显着的增益衰减。梳状天线在大角度时表现出较少的增益衰减，但它们在多个天线阵元之间的一致性较差。由于微带天线在低频下的损耗最小，因此满足了天线增益的要求。然而，在更高的频率下，在多通道4D毫米波雷达系统中使用微带天线会导致巨大的损耗，在大角度下产生大量的增益衰减，并且无法解决多个天线阵元之间一致性差的问题[23]，[24]，[25]。在多芯片级联4D毫米波雷达中，发射-接收天线对较多，使用微带天线的天线阵列设计只能在X-Y方向布局，导致雷达尺寸增大、成本上升等问题。

       SIW缝隙天线是一种通过在SIW结构中引入槽来实现的微带天线[26]。它结合了微带天线的易制造性和 SIW 波导的特性，提供了宽带宽和高效的辐射特性。但是，它具有很高的处理要求，并且具有更高的成本。

       波导腔体天线通常使用波导结构构建，利用波导的引导特性来实现天线功能。波导天线通常表现出高方向性和低辐射损耗。在多芯片级联配置中，与微带天线设计的 X-Y 定向阵列布局相比，波导腔体天线沿Z方向延伸。这种阵列布局具有低损耗和更紧凑的设计等优点。在此基础上，可以实现高增益天线单元设计和高效的馈电网络，使雷达能够实现更长的探测范围和更高的分辨率。因此，波导腔体天线被认为是多芯片级联4D毫米波雷达系统的未来趋势。

C.信号处理框架

       在4D毫米波雷达的研究中，信号处理的进步和创新对于提高雷达系统的性能、精度和鲁棒性至关重要。传统的毫米波雷达信号处理框架主要集中在两个处理框架上：距离-多普勒-角度和距离-角度-多普勒。图2显示了雷达信号处理的流程图。

     在距离-多普勒-角度框架中，第一步涉及对接收到的模拟信号应用快速傅里叶变换（FFT），以有效地生成距离-多普勒图，从而能够识别到目标物体的距离[17]，[27]。随后，对每个距离执行多普勒-FFT，从而可以识别信号中的多普勒频移，对应于目标物体的速度[17]。然后，以水平轴为距离，垂直轴为速度，构建二维距离多普勒图。此地图中的每个点都代表一个潜在的目标对象，其位置对应于距离和速度。最后，应用恒定虚警率（CFAR）算法检测地图中的目标 [28]。CFAR算法是一种自适应算法，用于在存在噪声、杂波和干扰的情况下进行目标检测。使用CFAR算法进行检测后，获得的候选点进行角度FFT，以确定这些目标物体的方向[29]。

       在距离-角度-多普勒框架中，初始步骤涉及对模拟信号数据应用快速傅里叶变换，以获得到目标物体的距离。随后，采用Capon波束形成器[30]进行角度估计。Capon 波束形成器的工作原理是选择权重，以最小化阵列中接收到的信号功率，但受已知所需信号方向的恒定响应约束。然后，以距离和方位角为轴构建二维距离-方位角图，并应用CFAR算法对图中的目标物体进行处理。最后，利用俯仰角波束形成技术确定目标的高度信息。用FFT处理多普勒频移，得到目标的速度信息。

       4D毫米波雷达在传统毫米波雷达的基础上，融合高度信息和芯片级集成，丰富了信号处理框架。本节介绍4D-FFT和ASPR（自适应超分辨率处理）。4D-FFT信号处理框架完全放弃了Range-Doppler图搜索机制，直接在2D-FFT的基础上进行3D FFT，以实现更高的处理增益，增强了对弱目标的检测能力。在4D-FFT框架中，首先对ADC的多个通道数据进行雷达间干扰消除。接下来，执行快速时间FFT，其中，由于时间维度较短，假设到目标的距离保持不变。信号相位的变化有助于获取目标的瞬时速度信息。然后应用MIMO解调从每个独立信号中提取信息。随后，采用慢时间FFT来获取连续相同脉冲之间的相位差，可用于检测多普勒频移和提取目标的平均速度信息[31]。最后，通过空间滤波信号处理技术，可以获取目标的高度和仰角信息。

图2 雷达信号处理流程图

       ASRP是一种先进的信号处理框架，需要考虑距离、速度、方位角等参数的顺序问题。如果可以在傅里叶谱上区分参数的任何一个或多个维度，则无需考虑顺序问题，可以直接回归经典处理流程。但是，当无法区分时，需要根据实际检测环境来分析维度的不可区分能力，从而选择合适的处理顺序。如果没有自适应选择，当在检测某个点时直接按照经典流程进行处理时，由于无法确定维度中是否存在多个目标，因此无法确定该检测点是单一的还是检测点的输出。这可能会对分辨率产生影响。

3 摄像头、3D雷达、激光雷达和4D雷达传感器的比较

       自动驾驶技术的进步在很大程度上依赖于复杂的感知系统，摄像头、激光雷达、3D毫米波雷达和4D毫米波雷达构成了这个复杂系统的核心。摄像头通过高分辨率图像捕捉提供丰富的视觉信息，在目标识别和路况感知中起着至关重要的作用。激光雷达凭借其出色的距离和角度分辨率在复杂环境中表现出色，尤其是在弱光条件下保持高性能。3D毫米波雷达因其在恶劣天气和复杂照明条件下的可靠性而脱颖而出，可以精确测量目标位置和速度。最近的研究进展使 4D 毫米波雷达迅速发展。它超越了前代产品的能力，不仅实现了高精度的空间检测，而且能够跟踪目标的运动轨迹，为自动驾驶系统提供全面的感知能力

       本节将比较和分析4D毫米波雷达与激光雷达、传统3D雷达和摄像头在不同条件下的性能，如表I和图3所示。将基于原理对功能差异进行分析，为传感器配置和选择提供建议。

表1 4D毫米波雷达与其他传感器的比较分析

图3 4D毫米波雷达与其他传感器的比较分析。

A.摄像头传感器

       摄像头因其技术成熟、成本相对较低，成为自动驾驶领域常用的传感器。它们使用可见光或红外光捕获图像，通过记录光的反射或投射来创建图像。随后，采用图像处理技术对场景进行分析。与 4D 毫米波雷达相比，摄像头可以提供高分辨率图像，捕捉环境中的细节，并实现精确的物体检测、识别和分类。

       此外，摄像头捕捉现场的颜色信息，这对于识别交通信号和车辆灯光颜色等驾驶中的重要信息至关重要。此外，摄像机可以理解复杂的场景，包括十字路口、人行横道和标志，从而更直观地了解环境背景。

       但是，摄像头有一些限制。首先，它们对照明和天气条件很敏感。光线不足、强光、阴影、雨雪会影响图像质量，降低摄像头的性能和可靠性 [32]、[33]、[34]、[35]、[36]。其次，摄像头的视野容易出现物体遮挡和盲点，尤其是在复杂的城市环境或多车道道路上，有限的视角可能会导致对某些物体的判断不准确。最后，也是最重要的一点，由于摄像头捕获二维图像信息，因此它们的距离估计能力有限，并且无法检测到速度信息。

       为了增强系统的鲁棒性，摄像头通常与其他传感器融合，以实现对环境的更全面理解。

B.激光雷达传感器

       激光雷达作为自动驾驶中的车载传感器，在实现车辆环境感知、保障安全方面发挥着至关重要的作用[37]、[38]、[39]、[40]。激光雷达主动发射激光束，并测量它们移动到周围物体并返回所需的时间，从而确定它们的距离和位置。通过每秒发射数百万个激光点，激光雷达可以获取这些点的三维位置信息，生动描绘行人、人行横道、车辆、树木等物体的细节，达到图像级分辨率。此外，激光点越密集，分辨率越高，从而可以更完整、更清晰地重建现实世界。

       但是，在某些情况下，激光雷达性能可能不是最优的。首先，激光雷达受天气条件和大气影响显著。在晴朗的天气下，激光衰减通常很小，从而实现更长的传播距离。然而，在大雨、浓烟或浓雾等恶劣天气条件下，衰减会急剧增加，从而影响传播距离。此外，大气湍流会导致激光束变形和抖动，从而无法准确测量周围物体的位置和形状。特别是在暴风雨天气中，可能会发生雷击等电磁干扰，从而破坏激光雷达的电子元件。其次，恶劣天气不仅会影响距离测量，而且在存在大气雾霾的情况下也会带来挑战。在空气中存在雾霾的情况下，激光雷达可能会将雾霾错误地解释为障碍物。最后，激光雷达的扫描频率较低，其窄激光束使空间目标搜索具有挑战性。此外，激光雷达获取的三维点云信息具有非结构化、无序性，直接影响了对非合作目标的拦截概率和检测效率，将目标的搜索和捕获限制在相对较小的范围内。

C.3D雷达传感器

       传统的毫米波雷达尽管具有强大的穿透能力，但由于缺乏高度尺寸，往往面临限制，导致检测结果被忽视。在自动驾驶感知任务的背景下，有必要通过摄像头和激光雷达等其他传感器进行补充[27]、[41]、[42]。此外，传统的毫米波雷达在区分静态物体方面也遇到了挑战，静态物体经常被忽略或大大降低了置信度。在 4D 毫米波雷达中包含高度维度可增强决策系统中对其检测结果的信心。例如，在自动驾驶系统中，如果检测到前方车辆的紧急制动，则后续车辆可以提前做出反应以避免追尾碰撞。图4显示了3D雷达和4D雷达之间的性能比较。从图像中可以明显看出，4D雷达在传统雷达的基础上，在探测范围和方位角上都增加了高度探测，将探测范围扩展到300米，角分辨率小于1◦。传统的毫米波雷达分辨率相对较低，当两辆车以相同的速度并排行驶时，会导致速度维度的故障。在这种情况下，传统的毫米波雷达可能会错误地将两辆车识别为一辆车（如图 5 所示）。同样，静态状态下的“行人-车辆并流”场景可能会导致错误的感知结果，这在自动驾驶的感知任务中是不可接受的。

图4 3D雷达与4D雷达性能对比示意图

图5 3D雷达与4D雷达在目标检测中的示意图比较

4 基于4D毫米波雷达的目标检测与跟踪

       4D毫米波雷达的特性，在全天候和恶劣天气条件下提供可靠的数据，使其成为自动驾驶、智能交通和安全监测领域的关键组成部分。它不受白天或黑夜、不同照明或恶劣天气条件的限制，为感知系统提供全面而可靠的功能，特别是在目标检测和跟踪领域。许多研究人员基于4D毫米波雷达数据开发了创新方法和算法，以提高目标检测和跟踪的性能和有效性。图6显示了近年来与4D毫米波雷达相关的出版物。一些研究侧重于仅依靠4D毫米波雷达数据进行目标检测和跟踪，通过算法优化和新技术的引入不断提高系统性能。这种方法的优点在于它对各种天气和照明条件的适应性，使系统即使在具有挑战性的环境中也能运行良好。另一方面，一些研究人员采用多模态传感器融合策略，将4D毫米波雷达与其他传感器相结合，以进一步增强感知系统的鲁棒性和准确性。这种融合利用了每个传感器的优势，弥补了它们各自的局限性，形成了更全面的感知能力。图 7 显示了 4D 毫米波雷达点云数据集和感知算法的时间线。

图6 近年来与4D毫米波雷达相关的目标检测与跟踪出版物。

图7 4D毫米波雷达点云数据集和感知算法的时间线。

       接下来，我们将从两个角度进行叙述：一个侧重于仅基于4D毫米波雷达的研究和应用，另一个侧重于涉及多传感器融合的研究和应用。通过对这些研究的全面分析，我们可以更深入地了解4D毫米波雷达在各种场景中的应用，并探索未来的发展方向。

A.仅 4D 毫米波雷达方法

       4D毫米波雷达不受照明条件和昼夜变化的影响，使其在复杂环境中表现出色。它基于毫米波频率运行，可以穿透雨、雪、雾等大气条件，即使在极端天气下也能保持高效的性能。这种强大的环境适应性使 4D 毫米波雷达能够在不同的地理和气候条件下可靠地执行目标检测和跟踪任务。本节将全面回顾用于目标检测和跟踪的纯4D毫米波雷达的最新研究进展，分析其在各种场景中的应用特点，并对未来潜在趋势提供见解。

       利用纯4D毫米波雷达进行目标检测和跟踪的研究主要集中在解决点云数据和噪声干扰相关问题上。Paek等[43]构建了一种新型的大规模目标检测数据集KAISTRadar（K-Radar），提供了基于4DRT的目标检测基准神经网络。这项工作表明，在恶劣的天气条件下，4D毫米波雷达是一种更强大的传感器。Lee等[44]针对克服标记雷达数据的稀缺性，将丰富的激光雷达数据转化为类雷达点云数据，并利用雷达增强技术提高模型收敛速度。Tan等[45]认为，现有的3D点云检测算法主要基于3D激光雷达，而毫米波雷达数据更稀疏、噪声更大、包含速度信息。因此，他们提出了一种基于多帧4D毫米波雷达点云的3D目标检测框架，并创建了TJ4DRadSet数据集，为多帧4D毫米波雷达检测算法提供了新的基准。

       Palmer等[46]通过积累雷达点云的连续时间步长，克服了生成点云的稀疏性。他们证明了自车运动估计和动态运动校正的方法可以提高目标检测性能。考虑到雷达测量容易受到噪声、干扰和杂波的干扰，Kong等[47]提出了一种基于组合常数误报率的两阶段预处理算法。在预处理阶段，该方法使用相同的4D毫米波雷达测量值生成两个具有不同特征的滤波测量值，从而丰富了输入到网络的目标信息。Liu等[48]研究了点云生成后的稀疏度改善和噪声降低。他们提出了一种空间多表示融合方法，通过核密度估计技术减少了由于角分辨率有限和雷达信号多径传播而导致的测量不准确性。

       除了提高准确性外，算法在训练时间方面也表现出优势。现有研究表明，基于4D毫米波雷达的三维目标检测在恶劣天气条件下表现出出色的鲁棒性。然而，与传统雷达相比，4D毫米波雷达涉及大量数据，需要相当大的内存进行计算和存储。针对这一问题，Paek等[49]提出了一种通过超参数调谐在线降低4D毫米波雷达张量密度的方法，建立了密度降低、检测性能和内存消耗之间的关系。此外，他们还设计了一个用于优化网络的工具包，使训练速度提高了 17.1 倍。

       此外，目前的研究面临着特征点利用不足的挑战。Yan等[50]提出了一种端到端、无锚点、单级的3D目标检测框架。通过对前景和背景点进行重新加权，该模型增强了特征学习，并引入了多普勒速度和反射率数据，从而显著提高了对小型运动物体的检测性能。模型摘要图如图 8 所示。Bai等[51]将矢量注意力和标量注意力相结合，充分利用雷达点云中的空间信息、多普勒信息和反射强度信息，实现了局部和全局特征的融合。

图8 MVFAN模型概述 [50]

       除了目标检测研究外，Tan等[52]还提出了一种用于4D毫米波雷达点云的多目标跟踪算法，该算法可以估计连续时间内目标的ID、位置、速度和形状信息。该算法提供更全面的运动状态和目标轮廓信息，以便做出更好的决策。总体而言，目前的研究重点是提高检测和跟踪的准确性，同时优化计算性能以更好地满足实际应用需求。

B.融合方法

       随着自动驾驶技术和智能交通系统的不断发展，多模态感知融合已成为提高系统鲁棒性和感知精度的关键研究领域[53]，[54]，[55]。与传统的RGB摄像头和激光雷达相比，4D毫米波雷达在恶劣天气和弱光等具有挑战性的条件下表现得非常出色。但是，在特定场景和任务中，单个传感器可能仍然受到限制。因此，将4D毫米波雷达与其他传感器（如激光雷达和摄像头）有效集成已成为提升感知系统整体性能的必要措施[56]，[57]。在下一节中，我们将探讨如何通过整合来自不同传感器的信息来实现更准确、更强大的目标感知和环境理解。这种多模态感知融合方法有助于克服单个传感器的局限性，使系统能够在复杂和动态的驾驶场景中更可靠地运行。

       1）4D雷达-摄像头融合：基于摄像头和4D毫米波雷达的感知融合具有显著的优势。摄像机提供高分辨率的视觉信息，捕捉丰富的语义特征，但对恶劣的天气条件和遮挡很敏感。另一方面，4D毫米波雷达具有全天候、全天候的感知能力，以及对恶劣天气条件和目标遮挡的鲁棒性。通过融合来自摄像头和 4D 毫米波雷达的数据，可以充分利用两种传感器的优势。目前基于摄像头和4D毫米波雷达的融合研究主要在鸟瞰（BEV）领域进行。

       Cui等[58]提出了一种具有交叉融合策略的卷积神经网络，用于三维道路车辆检测。该方法融合了从图像和4D毫米波雷达生成的正面视图和BEV视图中提取的特征，实现了全面的感知。本文还介绍了一种基于扩展卡尔曼滤波的三维目标跟踪算法。

       Xiong等[59]研究了基于摄像头和4D毫米波雷达融合的3D目标检测的“采样法”视图变换策略。具体而言，将输入雷达点云体素化为圆柱体，并从体素化圆柱体中提取多尺度BEV特征。这些 BEV 特征的一部分与图像的 BEV 特征融合，而另一部分用于生成融合的 BEV 特征图。在该模型的图像分支中，设计了一种“雷达占据辅助、基于深度的采样方法”，以获得更准确的特征增强结果。模型摘要图如图 9 所示。

       Zheng等[60]在BEV领域也实现了多模态特征融合。在摄像头流中，通过特征金字塔网络获取多尺度特征图。随后，进行正交特征变换，然后通过共享注意力编码器获得增强的细粒度图像BEV特征。在雷达流中，将雷达点云转化为雷达伪像，并创建雷达BEV特征。最后，交互式注意力模块融合了两种模式的 BEV 功能，从而实现强大的检测性能。

       最近，Fan等[56]考虑了点云的稀疏性，提出了一种利用图神经网络辅助表达4D毫米波雷达点云特征的方法。这种方法有效地从非结构化点云中提取特征，解决了由于稀疏性导致的目标检测损失。此外，提出了一种多模态融合模块，用于对准和融合几何空间中雷达伪像和相机图像的特征。该算法在准确度和精度方面表现出显着优势。这些研究为多传感器融合在三维目标检测领域的应用提供了有力的方法和实证支持。

图9 LXL模型概述 [59]

       2）4D雷达-激光雷达融合：激光雷达通过高精度的空间信息识别物体的位置和形状，而4D毫米波雷达在各种天气条件下都表现得非常出色，特别是在跟踪高速移动目标方面表现出色。通过融合这两个传感器，系统可以避免单点故障，平衡总体成本和检测精度，增强环境适应性和鲁棒性，实现多层次感知。为了弥合感知模态之间的固有属性差距，促进稳定的训练，邓等[61]提出了一种新的框架，通过对点云的跨模态感知实现鲁棒的三维目标检测，通过空间对准解决激光雷达和4D毫米波雷达之间的几何差异。

       为了更好地捕捉不同模态之间的交互作用，Wang等[62]引入了一种结合16线激光雷达和4D毫米波雷达的交互式融合框架。该方法聚合了两种模态的特征，并识别了雷达和激光雷达特征之间的交叉模态关系。模型摘要图如图 10 所示。为了解决两种传感器在数据特征和噪声分布上的差异，Wang等[63]提出了M2融合方法，这是一种多模态、多尺度的融合方法。该方法也基于交互式融合，利用自注意力机制从每个模态中学习特征并交换中间层信息。此外，他们还引入了一种基于中心的多尺度融合方法，以平衡单分辨率体素划分的准确性和效率。最后，通过采用基于高斯分布的数据预处理方法，该方法成功地降低了数据噪声水平。这些方法在多模态感知融合领域的引入，为处理数据异质性、提高系统鲁棒性提供了有价值的探索。

图10 InterFusion模型概述[62]

       3）4D雷达-摄像头-激光雷达融合：将摄像头、4D毫米波雷达和激光雷达融合在一起的目标检测和跟踪系统具有显著的优势。摄像头提供的高分辨率图像可以详细获取目标的外观和颜色信息。4D毫米波雷达在各种天气条件下都表现出色，在跟踪移动目标方面具有独特的优势。激光雷达提供高精度的距离和空间信息。通过协同来自这三个传感器的数据，该系统可以克服它们各自的局限性，实现全天候、全方位的目标检测。这不仅提高了检测精度和鲁棒性，而且为理解复杂环境提供了更全面的信息。Drews等[68]提出了一种模块化多模态框架，该框架利用特征提取器提取特征，将其转换为鸟瞰图，并进行空间和语义对齐。通过利用多模态特征实现对三维物体的最终准确检测。该方法成功地解决了在远距离和不利条件下准确检测的挑战。

       为了克服单一传感器和单一视点的遮挡问题，以及在不利环境下的局限性，Xiao等[69]引入了一种深度的多尺度注意力基架构。该架构融合了图像、激光雷达BEV和毫米波雷达BEV的特征，从而提高了二维检测的精度和鲁棒性。这些研究为集成多个传感器的目标检测系统提供了稳健的方法和技术支持。模型摘要图如图 12 所示。

图12 LRVFNet模型概述 [69]

5 基于4D毫米波雷达的SLAM

       随着智能机器人和无人驾驶的发展，对同步定位和地图构建（SLAM）的需求越来越增长。虽然近年来已经为激光雷达和视觉传感器提出了大量的SLAM算法，但它们的性能明显受到恶劣天气条件的影响。4D毫米波雷达因其在恶劣天气下的稳定性强、远距离探测能力和强大的抗干扰能力而受到研究人员的广泛关注。

       里程表在SLAM中起着至关重要的作用，它提供有关物体运动的实时信息，这对于准确定位和环境映射至关重要。因此，他们在SLAM中占有举足轻重的地位。[70], [71], [72].Galeote-Luque等[73]提出了一种利用多普勒测距传感器恢复车辆完整运动的3D里程计方法。该方法使用传感器框架测量的速度与运动模型提供的车辆框架之间的约束来定义车辆的 3D 运动。为了解决多普勒速度测量中的不确定性，Huang等[74]利用双成像雷达配置来获得准确的3D状态估计和优化的身体帧率，同时管理多普勒速度的不确定性。他们还采用了固定滞后平滑优化策略来融合IMU和多雷达数据，从而补偿了测量的不确定性。Lu等[25]介绍了一种名为4DRO-Net的4D雷达里程计方法。该方法利用层次优化和感知注意力，有效提取稀疏点云特征，提高姿态估计的精度。Zhuo等[14]提出了一种方法，以解决雷达点云稀疏、雷达与摄像头数据关联不准确、特征交互不足以及环境中动态物体干扰等问题。他们的方法利用特征金字塔、姿态扭曲和成本体积网络架构来逐步估计和细化姿态。他们还设计了一个自适应的4D雷达-相机融合模块，以整合模态信息，并引入了一个速度引导的点置信度估计模块，以减轻动态物体和异常值的影响，确保在姿态调整过程中持续更新。

       为了缓解雷达里程计在高动态环境下性能的显著下降，Chen等[75]提出了一种雷达里程计方法，该方法利用地面作为不受环境动力学影响的动态目标。该方法利用多普勒和几何特征对地面进行探测，将雷达速度与惯性数据融合得到里程计，克服了地面点分布不稳定的局限性，有效提高了点云质量。

       针对4D毫米波雷达点云中普遍存在的稀疏性和噪声干扰问题，Zhang等[76]提出了一种由前端、环路检测和后端模块组成的综合性4D毫米波雷达SLAM系统。该系统在两个平台和五个数据集上进行了有效性测试。此外，Zhuang等[72]开发了一种基于迭代扩展卡尔曼滤波的4D毫米波雷达惯性SLAM系统，将当前扫描与映射模块构建的子映射进行匹配，以找到表示为分布到多分布约束的点匹配。

6 数据集

       本节将介绍一些目前可用的 4D 毫米波雷达数据集，这些数据集在自动驾驶和机器人领域发挥着至关重要的作用。公共数据集为复杂目标的检测和跟踪提供了丰富的信息，促进了算法的研发。它们已成为研究人员深入研究和评估 4D 毫米波雷达感知算法性能的理想选择。表2总结了这些数据集的基本信息。此外，我们还展示了几套数据收集系统，如图11所示。

表2 4D毫米波雷达数据集

       图11 带有传感器系统的自动驾驶平台示例。（a）丰田普锐斯2013平台配备摄像头、激光雷达、3+1D雷达和惯性导航系统[64]。（b）清华大学双雷达数据集采集车，配备摄像头、激光雷达和两台4D毫米波雷达（Arbe Phoenix和ARS548 RDI）[65]。（c）同济大学TJ4DRadSet采集模型，配备摄像头、激光雷达和4D毫米波雷达[66]。（d）配备两个摄像头、一个4D毫米波雷达和一个惯性导航系统的WaterScenses数据集收集无人艇[67]。

       Astyx数据集[77]是第一个包含4D毫米波雷达点云的公开数据集。它以雷达为中心，整合了来自激光雷达、雷达和摄像头的数据。该数据集由 500 个同步帧组成，其中包含大约 3000 个精确标记的 3D 对象的注释。该数据集的主要关注点是车辆，为七个类别（公共汽车、汽车、骑自行车的人、摩托车手、人、拖车和卡车）提供注释。

       RADlal数据集[29]建立在汽车级传感器之上，包括摄像头、激光雷达和4D毫米波雷达。它以91个序列从各种环境中收集数据，例如城市街道、高速公路和乡村道路。每个序列的持续时间从1到4分钟不等，总共积累了 2 小时的原始数据，并伴随着 GPS 和车辆 CAN 轨迹。这些序列包含大约 25,000 个帧，其中 8,252 个帧被标记，总共涵盖 9,550 辆汽车。RADlal数据集在类似的数据集中脱颖而出，是唯一一个提供每种形式的4D毫米波雷达数据表示的数据集。此外，它还集成了来自摄像头、激光雷达和里程计的信息，为研究人员提供了丰富的多模态感知数据。此外，数据集不仅仅是提供数据;它引入了检测和自由空间分割任务，给感知和自动驾驶领域的研究带来了更复杂、更全面的挑战。

       K-Radar数据集[43]是在韩国收集的大规模4D毫米波雷达张量目标检测数据集。它包括高分辨率激光雷达点云、来自四个环视摄像头的 RGB 立体图像、RTK-GPS 和来自车辆的 IMU 数据。该数据集包含 35,000 帧，涵盖各种道路类型（城市、郊区、高速公路）、不同时间段（白天和黑夜）和不同的天气条件（晴朗、多云、雨、雪、雨夹雪等）。图 13 显示了不同天气条件下的 KRadar 数据集示例。此外，数据集还提供对象跟踪 ID，可用于跟踪任务。

图13 不同天气条件下的K-Radar数据集示例[43]

       View-of-Delft数据集[64]包括来自64线激光雷达、立体摄像头和3+1D雷达的8693帧时间同步和校准数据，这些数据是在复杂的城市交通场景中收集的。该数据集包括 123,106 个移动和静态对象的3D边界框，包含 26,587 名行人、10,800 名骑行者和 26,949 辆汽车。View-of-Delft提供丰富的多模态信息，使其适用于使用纯激光雷达、纯摄像头、激光雷达-摄像头融合或其他方法推进目标检测和跟踪的研究。

       TJ4DRadSet数据集[66]是一个专注于自动驾驶的数据集，具有连续的4D毫米波雷达点云序列以及附带的3D注释。此外，该数据集还提供了有关多种模式的全面信息，包括激光雷达、摄像头和 GNSS。它是在不同的驾驶场景中收集的，包括 44 个连续序列中的 7757 个同步帧，并使用 3D 边界框和轨迹ID进行精心注释。该数据集的与众不同之处在于它提供了在各种驾驶场景中捕获的多模式数据，包括不同的路况，包括具有挑战性的照明条件，如强光和黑暗。这使得TJ4DRadSet数据集非常适合开发基于4D毫米波雷达的3D感知算法，有助于推动该算法在高级自动驾驶系统中的应用。

       双雷达数据集[65]是使用配备高分辨率摄像头、80线激光雷达、ARS548 RDI和两个主流4D毫米波雷达（Arbe Phoenix）的系统平台收集的。该数据集主要包括汽车、骑行者、行人等类别，涵盖了各种天气条件（晴天、雨天和阴天）、照明条件（白天、黎明和夜间）以及城市交通中的不同距离范围。数据集总采集里程超过600公里，标注数据由151个连续序列组成。每个序列持续 20 秒，包含 10,007 个同步和带注释的关键帧，总共包含 103,272 个 3D 对象。

       Dual Radar数据集的独特性在于其系统平台集成了多个传感器，包括高分辨率摄像头、激光雷达和两个主流的4D毫米波雷达。这种多模态数据收集方法为研究人员提供了更全面、更丰富的感知信息，特别适用于复杂场景中涉及物体检测和跟踪的任务。

       WaterScenes数据集[67]与上述数据集不同，它是专门为水面自动驾驶而设计的，代表了第一个多任务4D雷达摄像头融合数据集。该数据集提供来自多个传感器的数据，包括 4D 毫米波雷达、单目摄像头、GPS 和 IMU，旨在识别水面物体的相关信息，例如颜色、形状、纹理、距离、速度、方位角和高度。此外，该数据集涵盖了不同的时间条件（白天、黄昏、夜间）、照明条件（正常、昏暗、强烈）、天气条件（晴天、多云、雨天、下雪）和水路条件（河流、湖泊、运河、护城河）。WaterScenes 数据集为摄像头图像提供 2D 边界框和像素级注释，为雷达点云提供 3D 点级注释。它提供准确的时间戳，以确保不同传感器之间的同步。这种设计使得该数据集对于涉及水面自动驾驶的研究具有独特的价值，为水场景中感知和决策算法的开发和评估提供了强有力的支持。

       ColoRadar数据集[78]致力于3D里程计和测绘，包括使用两个FMCW雷达、一个3D激光雷达和IMU设备从各种3D环境中收集的2小时的高精度地面实况数据。该数据集提供三种类型的雷达数据：原始 ADC 数据、3D 距离-方位角-仰角强度-多普勒速度热图和点云。借助这些多样化的数据类型，数据集可用于开发特定的应用方法，例如信号处理、目标检测和扫描对齐。此外，该数据集还提供了两种语言脚本，用于解析每种传感器类型的二进制文件。

       MSC-RAD4R数据集[79]是基于ROS框架的4D毫米波雷达数据集。该数据集包括 98,756 对立体图像、60,562 帧激光雷达数据、90,864 帧 4D 雷达数据、60,570 帧 RTK-GPS 数据、60,559 帧 GPS 数据、1,211,486 帧 IMU 数据和 6,057,276 帧车轮数据。该数据集覆盖约 51.6 公里，包括在白天、夜间、雪地和烟雾等各种环境中捕获的 100 分钟车辆数据。该设置涉及高分辨率 79 GHz 自适应 PDM FMCW Oculii 4D 雷达，该雷达每帧提供大约 5,000–20,000 个点，并在 400 米范围内以 15 Hz 的频率运行。

       NTU4DRadLM数据集[80]是一个以4D毫米波雷达为中心的多模态数据集，用于定位和映射。它是唯一一个包含六个传感器（4D 毫米波雷达、激光雷达、摄像头、IMU、GPS 和热像仪）的数据集。它提供微调的地面实况里程计和有意设计的环路闭合，专为SLAM任务量身定制。此外，该数据集既适用于低速机器人平台，也适用于高速无人车平台，涵盖结构化、非结构化和半结构化环境。

       总体而言，4D毫米波雷达数据集在人工智能和自动驾驶领域发挥着不可替代的作用。尽管目前公开可用的数据集数量相对有限，但每个数据集都提供了丰富的信息，可用于复杂目标检测和跟踪的研究。这些数据集不仅涵盖了各种驾驶条件和环境，还提供多模态信息，包括来自雷达、激光雷达、摄像头和全球导航卫星系统的数据。这些数据集的存在为研究人员提供了宝贵的资源，推动了算法研究和开发的进步。为了评估和比较不同的方法和算法，本文对在三个给定数据集上进行的研究进行了深入的回顾。其中，表3是使用TJ4DRadSet数据集的相关实验，表4是在VOD数据集上做的实验，表5是使用Astyx数据集的实验。

表3 TJ4DRADSET的比较实验

表4 VOD的对比实验

表5 在ASYX数据集上的对比实验

7 结论

A.社会意义

       在当前的社会背景下，4D毫米波雷达具有深远的社会意义和广阔的前景。首先，随着自动驾驶技术的兴起，4D毫米波雷达已成为车辆感知系统中至关重要的组成部分，为实现更安全、更高效的道路交通系统提供了强有力的支持。它在恶劣的天气和环境条件下的出色表现有望显着提高车辆的感知能力，降低事故风险，从而有助于降低事故率。此外，4D毫米波雷达的应用已经超越了汽车领域，在无人机、机器人和智能交通系统等领域发挥着举足轻重的作用。其实时、高精度目标信息获取能力，有助于提升无人系统的自主性和智能化，拓展自动化技术的应用范围。

B.未来前景

       未来，4D毫米波雷达技术将不断进步和发展。随着人工智能和自动驾驶的不断发展，对传感器的需求越来越迫切，而4D毫米波雷达作为关键的传感器，将在这一趋势中发挥举足轻重的作用。未来的发展预计将体现在两个主要方面：

       首先，4D毫米波雷达将实现更精确的目标识别和分类，增强其感知能力。通过不断优化雷达硬件和软件以提高性能和可靠性，4D毫米波雷达将进一步扩大其应用范围。其中一个重点是解决点云的质量问题，因为高质量的雷达点云对于深度学习算法至关重要，直接影响后续算法的精度。此外，提高4D毫米波雷达的抗干扰能力也是应对雷达系统间日益增长的干扰，保持系统性能和稳定性的关键任务。

       其次，为了适应4D毫米波雷达点云的特性，需要开发更专业的深度学习算法。尽管深度学习算法在激光雷达点云方面取得了良好的效果，但与4D毫米波雷达点云的一些差异仍有待解决。4D毫米波雷达点云数据具有高噪声和稀疏性，而激光雷达点云具有高密度和低噪声。因此，在将激光雷达处理方法应用于4D毫米波雷达时，需要考虑这些差异来增强算法的鲁棒性和准确性。

       总体而言，4D毫米波雷达技术的未来发展将侧重于提高性能，解决技术挑战，更好地满足自动驾驶和智能感知领域的需求。旨在为人工智能应用提供更可靠、更高效的感知解决方案。