不惧恶劣天气(3D-LRF):4D雷达与激光雷达融合感知

不惧恶劣天气(3D-LRF):4D雷达与激光雷达融合感知

Abstract

在各种（正常和恶劣）天气条件下检测三维物体对于安全的自动驾驶系统至关重要。最近的方法侧重于使用不受天气影响的4D雷达传感器，并将其与其他模式（如LiDAR）结合。然而，这些方法在融合多模态信息时并未考虑传感器特性和天气条件，从而丢失了一些可能有助于定位三维物体的高度信息。在本文中，我们提出了一种新颖的基于LiDAR和4D雷达的三维物体检测框架。具体来说，我们提出了一个3D-LRF模块，该模块考虑了它们在三维空间中表现出的不同模式（例如，LiDAR的精确三维映射和4D雷达的广域、不受天气影响的测量），并基于它们的三维空间关系提取融合特征。然后，我们的天气条件雷达流门控网络根据天气条件调节融合特征的信息流，并获得增强的特征，有效地结合了两种领域在各种天气条件下的优势。广泛的实验表明，我们的模型在各种天气条件下实现了3D物体检测的SoTA（最先进）性能。

代码地址：

https://github.com/yujeong-star/RL_3DOD

Introduction

3D物体检测技术在自动驾驶、机器人和无人机等领域中非常重要。现有的3D物体检测方法通常依赖于相机、LiDAR和雷达等多种传感器，但在不同天气条件下的表现存在差异。雷达传感器因其无线电波的特性，在恶劣天气下具有较好的鲁棒性，但精度和三维信息的详细程度有限。LiDAR在雪或雨中可能不准确，但在阴天或强光条件下表现较好。因此，目前的研究努力正在利用各种多模态传感器来弥补雷达的局限性，并在多种天气条件下缓解LiDAR或图像传感器的不足。尽管这些研究提出了新的融合方法，但它们仍然存在以下局限性。
（1）多模态信息融合的局限性：现有工作在融合来自不同传感器的信息时，往往没有充分考虑天气条件和各个传感器的特性。虽然每个传感器在特定条件下都表现出一定的鲁棒性，但融合时需要更好地利用每个传感器在不同气候条件下的优势。
（2）三维特征融合的不足：尽管LiDAR和雷达数据具有三维特性，但以往的多模态融合研究并未充分利用这一点。研究通常在恶劣天气条件下将LiDAR数据转换为二维距离视图或伪图像，然后再与其他模态数据融合，这可能导致关键的高度信息丢失。
如图1所示，以往研究在恶劣天气条件下将LiDAR特征转换为距离视图、伪图像和BEV特征，然后再与其他模态的信息融合。这导致了关键高度信息的丢失，而这些信息对于有效的3D物体检测至关重要。
 

为了解决这些局限性，我们提出了一种新方法，即一种考虑天气条件和三维领域融合的基于LiDAR和4D雷达的鲁棒3D物体检测框架。具体来说，我们的框架首先将LiDAR点云和4D雷达张量作为输入，并为每种模式编码体素特征，以保留三维信息。在提取特征时，我们的3D LiDAR和4D雷达融合（3D-LRF）模块查询非空LiDAR体素，分组邻近的4D雷达体素，并在每一层提取融合特征。当LiDAR体素特征周围的雷达体素特征较少时，我们的3D-LRF模块会识别相应的LiDAR特征为不精确，并抑制它。相反，当LiDAR周围有许多邻近的雷达特征时，我们的3D-LRF模块会有效地融合两个领域的特征。此外，为了应对各种天气条件并发挥每个传感器的优势，我们提出了天气条件雷达流门控网络（WRGNet）。相机在恶劣条件下容易被破坏，但比其他模态具有更丰富的场景语义信息。因此，我们的WRGNet将非空LiDAR、邻近的4D雷达体素特征和一个由轻量级预训练天气分类网络训练的图像简单1D特征作为输入。1D天气条件图像特征和4D雷达体素特征被输入到门控层中以提取雷达流门控特征。雷达流门控特征与3D-LRF模块的融合特征相乘，以根据天气条件有效地控制从4D雷达到LiDAR的信息流。经过两个新颖的融合模块后，使用BEV编码器和检测头生成最终的3D物体检测结果。
我们在K-Radar数据集上评估了所提出框架的性能，该数据集包含在各种天气条件下捕获的4D雷达、LiDAR和图像。实验结果表明，与以前的方法相比，我们的方法在检测“轿车”方面表现出色，提供了有效考虑传感器特性和天气信息的证据。

3.Method

3.1 框架概述

我们的框架整体方案如图2所示。该框架以LiDAR点云、4D雷达张量和图像为输入。具体来说，LiDAR点云为

，4D雷达张量为

，图像为

，其中N0、M0、H和W分别表示LiDAR点数、4D雷达点数、图像的高度和宽度。稀疏3D卷积网络作为LiDAR和4D雷达的特征提取骨干网络，以保留其3D信息。L和R首先分别通过输入层，将输入张量映射到更高维的体素特征

和

。然后，体素特征被输入到各自的三层稀疏3D卷积网络中。每一层提取层级的体素特征

和

其中l为层的索引，l ∈ {1, 2, 3}。它们通过我们的3D-LRF模块（见第3.2节）有效融合，以获得融合特征

。图像通过一个轻量的三层2D卷积网络进行单独编码，该网络预训练用于天气分类。利用1D天气条件图像特征

与Ll和Rl一起，我们的WRGNet通过门控控制4D雷达向LiDAR模态的信息流，并得到增强的LiDAR特征

（见第3.3节）。当和Rl作为下一层的输入时，和Ll通过单独的BEV编码器进行压缩。所有层的BEV特征的拼接通过检测头输出3D检测结果（见第3.4节）。

3.2 3D LiDAR和4D雷达融合

在本节中，我们介绍了3D LiDAR和4D雷达的融合方法。基于3D信息在3D物体检测中的关键作用，我们在3D空间中融合3D LiDAR和4D雷达。给定来自第l层稀疏3D卷积层的LiDAR特征

和^雷达特征

，我们的目标是利用雷达特征增强LiDAR特征。具体来说，对于每个LiDAR体素特征，我们首先在半径rl内找到Kl个最近邻的雷达体素特征，

以便模型可以关注感兴趣的区域，考虑3D空间关系。公式(1)中，我们为每一层l使用不同数量的邻居Kl和半径rl，以考虑实际检测目标的大小。

设计选择的详细说明见补充材料。获取Kl个最近邻雷达体素特征Vl后，通过3D-LRF模块将LiDAR特征Ll与Vl融合。
3D-LRF模块。3D-LRF模块旨在高效整合LiDAR和4D雷达域。为实现这一点，首先需要了解两个域的特性。LiDAR利用激光反射，在正常条件下提供精确的3D环境映射，但在恶劣天气如大雪或大雨时易受噪声影响。而雷达则利用波进行测量，在恶劣天气下表现出强大的鲁棒性，但在提供精确的物体位置方面不足。因此，通过辨别每个位置是否为场景中的物体或恶劣天气造成的噪声，并相应地激活或抑制相应的LiDAR，可以实现更有效的整合。
因此，我们首先通过将非空的LiDAR体素(Ll)i作为查询，将(Vl)i作为键，来计算它们的激活关系，得到一个注意力图。

其中(·)i表示LiDAR体素特征的第i个值，softmax为softmax函数。如图3所示，如果(Vl)i中存在多个非空雷达体素，例如(b)情况，注意力值将设置为增强(Ll)i。相反，如果邻近雷达体素不存在，例如(a)情况，注意力值将设置为抑制(Ll)i。
然后将注意力图乘以wlv，这是一种用于提取雷达特征值的函数。我们使用注意力机制使模型进一步关注相关的雷达信息，并获得一对(Ll)i和(Vl)i的融合特征(Fl)i。公式(3)为：

最终的融合特征Fl通过聚合(Ll)的索引来获得。

3.3 天气条件雷达流门控

从3D-LRF模块获得的融合特征Fl包含了增强或抑制LiDAR特征的关键信息。因此，将Fl融合到原始LiDAR特征Ll中可以增强Ll，并有潜力提高检测性能。获得增强的LiDAR特征的直接融合策略如下：

然后，被输入到LiDAR流的下一卷积层l+1。同时，和Ll被输入到单独的BEV编码器中，以获得BEV特征B~~和。这些BEV特征随后用于检测头进行预测（第3.4节）。
虽然直接融合策略可以在某些天气条件下提高性能，例如在大雪天气中雷达特征可以增强LiDAR特征，但我们观察到这种融合策略在各种天气条件下会导致性能的权衡。雷达直接融入LiDAR可能由于雷达在定位上的有限精度，在正常天气条件下降低性能。因此，我们提出根据天气条件调节融合特征Fl的信息流，即根据天气进行门控Fl。为了将天气条件注入门控过程中，我们选择使用预训练的天气分类任务图像特征Il。其基本思想是，图像最容易受到天气条件的影响，尽管其在3D检测数据质量方面较低，但对理解天气条件非常有利。然后，图像特征被用于天气条件雷达流门控网络(WRGNet)中以生成门控特征Gl，调节Fl流入Ll的信息流。
WRGNet。给定预训练的图像特征Il，我们首先通过重复Il将其与Kl最近邻体素特征Vl拼接在一起。然后，应用一个单独的门控层wlg，随后进行全局平均池化(GAP)层以获得门控特征Gl，公式如下：

其中[·,·]表示拼接操作。获得的Gl用于在将Fl融合到LiDAR特征Ll之前门控融合特征Fl，公式如下：
 

其中⊗表示逐元素乘法。WRGNet的总体方案如图4所示。通过提出的门控融合策略，我们可以根据天气条件控制来自3D-LRF模块的信息流，有效缓解各种天气条件下性能的权衡。

3.4 BEV编码器和检测头

每一层的BEV编码器接收LiDAR体素特征和增强的LiDAR体素特征在BEV编码器中，和分别通过一个稀疏3D卷积块、密集块和转置2D卷积块进行编码，以提取BEV特征和转置2D卷积块的设计目的是确保所有层的BEV特征具有相同的维度大小

，其中

分别是BEV特征的高度、宽度和通道数。网络从所有层中提取BEV特征后，我们将所有BEV特征拼接在一起，得到最终的BEV特征

并将其输入检测头。检测头由分类头和回归头组成，分别提取每个网格的分类和回归输出，以估计中心点、物体大小和旋转角度。每个头都由一个卷积块组成。采用Focal Loss进行分类训练，并通过Smooth L1 Loss来最小化回归误差。整体目标函数是Focal Loss和Smooth L1 Loss的简单相加。

Experiment

表1展示了定量对比结果。我们的方法在所有指标下均优于单模态和多模态的3D目标检测模型。特别是，我们的方法在IoU阈值为0.5时的AP3D上比第二好的模型RTNH提升了约19%。这一结果表明，所提出的3D-LRF模块在3D域中有效融合了LiDAR和4D雷达。此外，我们的方法在所有天气条件下表现出良好的性能，验证了所提出的WRGNet的有效性。在大雪天气下，我们的模型在各项指标上相比于第二好的得分提升了10%到43%。
 

表2展示了使用LiDAR和4D雷达域的效果。由于我们的模型基线是RTNH[28]，所以表(a)报告了RTNH的性能，表(b)报告了RTNH*的性能，而表(e)报告了我们的方法的性能。
 

表2的©、(d)和(e)行展示了我们模型的各组件的影响。当添加WRGNet时，相比于仅使用单一模态的结果，APBEV在所有IoU阈值下显著提高。这表明WRGNet通过结合天气信息有效地调节了雷达流量并融合了两种模态的信息。
融合对比。我们验证了我们的3D-LRF模块并不仅仅是两种域的简单结合。为了对比，我们采用了两种融合策略：拼接和交叉注意力，其结果如表3所示。交叉注意力的结果比拼接的结果表现更好。然而，尽管使用了两种域，但可以观察到在IoU阈值为0.5的AP3D结果上并不优于单独使用LiDAR的结果。相比之下，在3D-LRF模块的帮助下，所提出的方法有效地融合了LiDAR和4D雷达特征，显示出相较于其他融合方法的显著性能提升。

结论

文章的主要贡献有四个方面：
1.提出了一种首创的方法，将LiDAR和4D雷达融合用于各种天气条件下的3D物体检测。
2.提出了3D-LRF模块，该模块有效地在三维领域中融合LiDAR和4D雷达特征，考虑每个传感器的特性。
3.提出了WRGNet，根据天气条件调节融合特征的流动。
4.在K-Radar数据集上进行了广泛的实验，展示了我们的优越性能并验证了每个组件的效果。

引用文章：
Towards Robust 3D Object Detection with LiDAR and 4D Radar Fusion in Various Weather Conditions
 

最后别忘了，帮忙点“在看”。  

您的点赞，在看，是我创作的动力。

AiFighing是全网第一且唯一分享自动驾驶实战，以代码、项目的形式讲解自动驾驶感知方向的关键技术，从算法训练到模型部署。

关注我的公众号auto_driver_ai(Ai fighting), 第一时间获取更新内容。