全天候鲁棒3D目标检测！从多模态到多智能体的新一代范式（AAAI‘25 & CVPR‘25）

>>直播和内容获取转到→自动驾驶之心知识星球

三维目标检测是自动驾驶等无人系统环境感知的重要任务，然而恶劣天气下LiDAR点云的降质现象将严重影响目标感知性能。本次将从多模态到多智能体角度分享来自AAAI2025 Oral和CVPR2025的两个工作，并进行一些展望以及相关研究知识分享。

基于激光雷达的视觉系统是3D目标检测不可或缺的一部分，这对自主导航至关重要。然而，由于激光雷达点云的质量恶化，它们在恶劣天气条件下的性能会下降。将激光雷达与天气鲁棒性4D雷达传感器融合有望解决这个问题。然而，激光雷达和4D雷达的融合具有挑战性，因为它们在数据质量和恶劣天气下的退化程度方面存在显著差异。为了解决这些问题，我们引入了L4DR，这是一种天气鲁棒的3D目标检测方法，可以有效地实现LiDAR和4D雷达的融合。我们的L4DR包括多模态编码（MME）和前景感知去噪（FAD）技术来协调传感器间隙，这是对激光雷达和4D雷达早期融合互补性的首次探索。此外，我们还设计了一个模态间和模态内({IM}2）并行特征提取主干与多尺度门控融合（MSGF）模块耦合，以抵消恶劣天气条件下传感器不同程度的退化。在模拟雾的VoD数据集上进行的实验评估证明，L4DR更能适应不断变化的天气条件。它在不同雾度下提供了显著的性能提升，与传统的仅使用激光雷达的方法相比，3D mAP提高了20.0%。此外，K-Radar数据集的结果验证了L4DR在实际恶劣天气条件下的性能持续提高。

• 论文链接：https://arxiv.org/abs/2408.03677

• 开源链接：https://github.com/ylwhxht/L4DR

当前的车联网（V2X）系统使用激光雷达和视觉数据显著增强了3D目标检测。然而，这些方法在恶劣天气条件下性能会下降。天气稳健的4D雷达提供多普勒和额外的几何信息，提高了应对这一挑战的可能性。为此，我们介绍了V2X-R，这是第一个包含LiDAR、摄像头和4D雷达的模拟V2X数据集。V2X-R包含12079个场景，其中37727帧激光雷达和4D雷达点云、150908张图像和170859个带注释的3D车辆边界框。随后，我们提出了一种新的用于3D目标检测的协同LiDAR-4D雷达融合流水线，并采用各种融合策略来实现。为了实现天气鲁棒检测，我们在融合管道中还提出了一个多模态去噪扩散（MDD）模块。MDD利用天气鲁棒性4D雷达特征作为条件，促使扩散模型对噪声LiDAR特征进行去噪。实验表明，我们的LiDAR-4D雷达融合流水线在V2X-R数据集中表现出卓越的性能。除此之外，我们的MDD模块在雾/雪条件下将base融合模型的性能进一步提高了5.73%/6.70%，几乎不会干扰正常性能。

• 论文链接：https://arxiv.org/abs/2411.08402

• 开源链接：https://github.com/ylwhxht/V2X-R

自动驾驶之心很荣幸邀请到厦门大学博士生/北京中关村学院博士生(联合培养)——黄勋，今晚七点半，锁定自动驾驶之心直播间~

国内首个自动驾驶学习社区

『自动驾驶之心知识星球』近4000人的交流社区，已得到300+自动驾驶公司与科研机构的认可！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（大模型、端到端自动驾驶、世界模型、仿真闭环、3D检测、语义分割、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案，更有行业动态和岗位发布！欢迎扫描加入

【自动驾驶之心】技术交流群

自动驾驶之心是国内领先的技术交流平台，关注自动驾驶前沿技术与行业、职场成长等。我们成立了一系列的技术交流群，涉及：端到端自动驾驶、大模型、车道线检测、2D/3D目标跟踪、2D/3D目标检测、BEV感知、多模态感知、Occupancy、多传感器融合、transformer、点云处理、在线地图、SLAM、光流估计、深度估计、轨迹预测、高精地图、NeRF、Gaussian Splatting、规划控制、模型部署落地、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流等多个方向！

备注：学校/公司+方向+昵称（快速入群方式）

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取