RV融合性能拉爆！RCBEVDet：Radar也有春天，最新SOTA！

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

>>点击进入→自动驾驶之心『多传感器融合』技术交流群

论文作者 | Zhiwei Lin

编辑 | 自动驾驶之心

写在前面&笔者的个人理解

这篇论文关注的主要问题是3D目标检测技术在自动驾驶进程中的应用。尽管环视相机技术的发展为3D目标检测提供了高分辨率的语义信息，这种方法因无法精确捕获深度信息和在恶劣天气或低光照条件下的表现不佳等问题而受限。针对这一问题，论文提出了一种结合环视相机和经济型毫米波雷达传感器的多模态3D目标检测新方法——RCBEVDet。

RCBEVDet的核心在于两个关键设计：RadarBEVNet和Cross-Attention Multi-layer Fusion Module（CAMF）。RadarBEVNet旨在有效提取雷达特征，它包括双流雷达主干网络和RCS（雷达截面积）感知的BEV（鸟瞰图）编码器。这样的设计利用点基和变换器基编码器处理雷达点，通过交互更新雷达点特征，同时将雷达特定的RCS特性作为目标大小的先验信息来优化BEV空间的点特征分布。而CAMF模块通过多模态交叉注意力机制解决了雷达点的方位误差问题，实现了雷达和相机的BEV特征图的动态对齐以及通过通道和空间融合层的多模态特征自适应融合。

论文提出的新方法通过以下几点实现对现有问题的解决：

• 高效的雷达特征提取器：通过双流雷达主干和RCS感知的BEV编码器设计，专门针对雷达数据的特性进行优化，解决了使用为激光雷达设计的编码器处理雷达数据的不足。

• 强大的雷达-相机特征融合模块：采用变形的交叉注意力机制，有效处理环视图像和雷达输入之间的空间不对齐问题，提高融合效果。

论文的主要贡献如下：

1. 提出了一种新颖的雷达-相机多模态3D目标检测器RCBEVDet，实现了高精度、高效率和强鲁棒性的3D目标检测。

2. 设计了针对雷达数据的高效特征提取器RadarBEVNet，通过双流雷达主干和RCS感知BEV编码器，提高了特征提取的效率和准确性。

3. 引入了Cross-Attention Multi-layer Fusion模块，通过变形交叉注意力机制实现了雷达和相机特征的精确对齐和高效融合。

4. 在nuScenes和VoD数据集上达到了雷达-相机多模态3D目标检测的新的最佳性能，同时在精度和速度之间实现了最佳平衡，并展示了在传感器失效情况下的良好鲁棒性。

详解RCBEVDet

RadarBEVNet

RadarBEVNet是本论文提出的用于有效雷达BEV（鸟瞰图）特征提取的网络架构，主要包括两个核心组成部分：双流雷达主干网络和RCS（雷达截面积）感知的BEV编码器。

Dual-stream radar backbone

双流雷达主干网络由点基主干和变换器基主干组成。点基主干网络通过多层感知机（MLP）和最大池化操作学习局部雷达特征，其过程可以简化为以下公式：

这里的表示雷达点特征，通过MLP增加特征维度后，再通过最大池化操作提取全局信息并与高维特征连接。

变换器基主干则采用标准变换器块，引入了距离调制的自注意力机制（DMSA），通过考虑雷达点之间的距离信息，优化模型聚集邻近信息的能力，促进模型的收敛。DMSA机制调节的自注意力可以表示为：

RCS-aware BEV encoder

为了解决传统雷达BEV编码器产生的BEV特征稀疏性问题，提出了RCS感知的BEV编码器。它利用RCS作为目标大小的先验信息，将雷达点特征散布到BEV空间中的多个像素上，而不是单一像素，以增加BEV特征的密度。该过程通过以下公式实现：

其中，为基于RCS的高斯式BEV权重图，通过最大化所有雷达点的权重图来优化。最终，将RCS散布得到的特征与连接并通过MLP处理，得到最终的RCS感知BEV特征。

整体而言，RadarBEVNet通过结合双流雷达主干网络和RCS感知的BEV编码器，高效地提取雷达数据的特征，并通过RCS作为目标大小的先验，优化了BEV空间的特征分布，为之后的多模态融合提供了强大的基础。

Cross-Attention Multi-layer Fusion Module

Cross-Attention Multi-layer Fusion Module (CAMF)是一种用于动态对齐和融合多模态特征的高级网络结构，特别针对雷达和相机生成的鸟瞰图（BEV）特征的动态对齐和融合设计。这一模块主要解决了由于雷达点云的方位误差导致的特征不对齐问题，通过变形的交叉注意力机制（Deformable Cross-Attention），有效地捕获雷达点的微小偏差，并减少了标准交叉注意力的计算复杂度。

CAMF利用变形交叉注意力机制来对齐相机和雷达的BEV特征。给定相机和雷达的BEV特征和，首先给和添加可学习的位置嵌入，然后将转换为查询和参考点，作为键和值。多头变形交叉注意力的计算可以表示为：

其中表示注意力头的索引，表示采样键的索引，是总的采样键数。表示采样偏移，是由和计算得到的注意力权重。

在通过交叉注意力对齐相机和雷达的BEV特征之后，CAMF使用通道和空间融合层来聚合多模态BEV特征。具体地，首先将两个BEV特征串联为，然后将送入CBR（卷积-批归一化-激活函数）块并通过残差连接获得融合特征。CBR块依次由一个的卷积层、一个批归一化层和一个ReLU激活函数组成。之后，连续应用三个CBR块以进一步融合多模态特征。

通过上述过程，CAMF有效地实现了雷达和相机BEV特征的精确对齐和高效融合，为3D目标检测提供了丰富而准确的特征信息，从而提高了检测性能。

相关实验

在VoD验证集上的3D目标检测结果比较中，RadarBEVNet通过融合相机和雷达数据，在整个标注区域内和兴趣区域内的平均精度（mAP）表现上均展现了优秀的性能。具体来说，对于整个标注区域，RadarBEVNet在汽车、行人和骑行者的检测上分别达到了40.63%、38.86%和70.48%的AP值，将综合mAP提升到了49.99%。而在兴趣区域，即靠近本车的驾驶通道内，RadarBEVNet的表现更为突出，分别在汽车、行人和骑行者的检测上达到了72.48%、49.89%和87.01%的AP值，综合mAP达到了69.80%。

这些结果揭示了几个关键点。首先，RadarBEVNet通过有效融合相机和雷达输入，能够充分利用两种传感器的互补优势，提升了整体的检测性能。相较于仅使用雷达的方法如PointPillar和RadarPillarNet，RadarBEVNet在综合mAP上有明显的提升，这表明多模态融合对于提高检测精度尤为重要。其次，RadarBEVNet在兴趣区域内的表现特别优秀，这对于自动驾驶应用来说尤为关键，因为兴趣区域内的目标通常对即时驾驶决策影响最大。最后，虽然在汽车和行人的检测上，RadarBEVNet的AP值略低于某些单一模态或其他多模态方法，但在骑行者检测和综合mAP表现上，RadarBEVNet展现了其综合性能的优势。RadarBEVNet通过融合相机和雷达的多模态数据，实现了在VoD验证集上的优异表现，特别是在对自动驾驶至关重要的兴趣区域内展现了强大的检测能力，证明了其作为一种有效的3D目标检测方法的潜力。

这个消融实验展示了RadarBEVNet在逐步添加主要组件时，对3D目标检测性能的持续改进。从基准模型BEVDepth开始，每一步增加的组件都显著提高了NDS（核心度量标准，反映了检测精度和完整性）和mAP（平均精确度，反映了模型对目标的检测能力）。

1. 添加时间信息：通过引入时间信息，NDS和mAP分别提升了4.4和5.4个百分点。这表明时间信息对于提高3D目标检测的准确性和鲁棒性非常有效，可能是因为时间维度提供了额外的动态信息，有助于模型更好地理解场景和目标的动态特性。

2. 加入PointPillar+BEVFusion（基于雷达和相机的融合）：这一步进一步提升了NDS和mAP，分别增加了1.7和1.8个百分点。这说明通过融合雷达和相机数据，模型能够获取更全面的场景理解，弥补了单一模态数据的局限。

3. 引入RadarBEVNet：NDS和mAP分别再次提升2.1和3.0个百分点。RadarBEVNet作为一个高效的雷达特征提取器，优化了雷达数据的处理，提高了特征的质量和有效性，这对于整体检测性能的提升至关重要。

4. 添加CAMF（交叉注意力多层融合模块）：通过精细的特征对齐和融合，NDS增加了0.7个百分点，mAP稍微提升到45.6，显示出在特征融合方面的有效性。这一步骤的改进虽然不如前几步显著，但依然证明了在多模态融合过程中，精确的特征对齐对于提高检测性能的重要性。

5. 加入时间监督：最后，引入时间监督后，NDS微增0.4个百分点至56.8，而mAP略有下降0.3个百分点至45.3。这表明时间监督能进一步提升模型在时间维度的性能，尽管对mAP的贡献可能受到特定实验设置或数据分布的影响而略显限制。

总的来说，这一系列的消融实验清晰地展示了RadarBEVNet中每个主要组件对于提高3D目标检测性能的贡献，从时间信息的引入到复杂的多模态融合策略，每一步都为模型带来了性能上的提升。特别是，对雷达和相机数据的精细处理和融合策略，证明了在复杂的自动驾驶环境中，多模态数据处理的重要性。

讨论

论文提出的RadarBEVNet方法通过融合相机和雷达的多模态数据，有效地提升了3D目标检测的准确性和鲁棒性，尤其在复杂的自动驾驶场景中表现出色。通过引入RadarBEVNet和Cross-Attention Multi-layer Fusion Module（CAMF），RadarBEVNet不仅优化了雷达数据的特征提取过程，还实现了雷达和相机数据之间精准的特征对齐和融合，从而克服了单一传感器数据使用中的局限性，如雷达的方位误差和相机在低光照或恶劣天气条件下的性能下降。

优点方面，RadarBEVNet的主要贡献在于其能够有效处理并利用多模态数据之间的互补信息，提高了检测的准确度和系统的鲁棒性。RadarBEVNet的引入使得雷达数据的处理更为高效，而CAMF模块确保了不同传感器数据之间的有效融合，弥补了各自的不足。此外，RadarBEVNet在实验中展现了在多个数据集上的优异性能，尤其是在自动驾驶中至关重要的兴趣区域内，显示了其在实际应用场景中的潜力。

缺点方面，尽管RadarBEVNet在多模态3D目标检测领域取得了显著成果，但其实现的复杂性也相应增加，可能需要更多的计算资源和处理时间，这在一定程度上限制了其在实时应用场景中的部署。此外，虽然RadarBEVNet在骑行者检测和综合性能上表现优秀，但在特定类别上（如汽车和行人）的性能仍有提升空间，这可能需要进一步的算法优化或更高效的特征融合策略来解决。

总之，RadarBEVNet通过其创新的多模态融合策略，在3D目标检测领域展现了显著的性能优势。尽管存在一些局限性，如计算复杂度较高和在特定检测类别上的性能提升空间，但其在提高自动驾驶系统准确性和鲁棒性方面的潜力不容忽视。未来的工作可以聚焦于优化算法的计算效率和进一步提高其在各类目标检测上的表现，以推动RadarBEVNet在实际自动驾驶应用中的广泛部署。

结论

论文通过融合相机和雷达数据，引入了RadarBEVNet和Cross-Attention Multi-layer Fusion Module（CAMF），在3D目标检测领域展现出显著的性能提升，特别是在自动驾驶的关键场景中表现优异。它有效地利用了多模态数据之间的互补信息，提高了检测准确性和系统的鲁棒性。尽管存在计算复杂度高和在某些类别上性能提升空间的挑战，\ours在推动自动驾驶技术发展，尤其是在提升自动驾驶系统的感知能力方面，展现了巨大的潜力和价值。未来工作可以关注于优化算法效率和进一步提升检测性能，以便更好地适应实时自动驾驶应用的需求。

参考

[1] RCBEVDet: Radar-camera Fusion in Bird’s Eye View for 3D Object Detection

投稿作者为『自动驾驶之心知识星球』特邀嘉宾，欢迎加入交流！

① 全网独家视频课程

BEV感知、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、大模型与自动驾驶、Nerf、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码即可学习）

网页端官网：www.zdjszx.com

② 国内首个自动驾驶学习社区

国内最大最专业，近2700人的交流社区，已得到大多数自动驾驶公司的认可！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（2D/3D检测、语义分割、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型、端到端等，更有行业动态和岗位发布！欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频

③【自动驾驶之心】技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦2D/3D目标检测、语义分割、车道线检测、目标跟踪、BEV感知、多模态感知、Occupancy、多传感器融合、transformer、大模型、在线地图、点云处理、端到端自动驾驶、SLAM与高精地图、深度估计、轨迹预测、NeRF、Gaussian Splatting、规划控制、模型部署落地、cuda加速、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流等方向。扫码添加汽车人助理微信邀请入群，备注：学校/公司+方向+昵称（快速入群方式）

④【自动驾驶之心】平台矩阵，欢迎联系我们！