(已开源) ICRA 2024 LiRaFusion: Deep Adaptive LiDAR-Radar Fusion for 3D Object Detection

本文提出了用于LiDAR-Radar融合的3D目标检测模型LiRaFusion。为了提高这两种模态的特征提取能力，本文设计了一个用于联合体素特征编码的早期融合模块，以及一个中间融合模块通过门控网络自适应地融合特征图。本文对nuScenes数据集进行了广泛的评估，以证明LiRaFusion可以有效地利用激光雷达和雷达的互补信息，并对现有方法取得了显著的改进。

论文链接： https://arxiv.org/abs/2402.11735

项目链接：https://github.com/Song-Jingyu/LiRaFusion

---

1. Introduction

自动驾驶汽车 (AV) 被期望能准确感知周围环境，以实现对各种场景和环境条件的有效和安全规划控制。感知任务的一个重要部分是精确定位周围环境中的目标。这些目标的一个常见表示是一组具有位置、大小和类别的3D框。尽管自动驾驶汽车上的传感器配置有多种组合，但由于目标密集，现有许多目标检测算法依赖于激光雷达和相机传感器。

激光雷达和相机对不同的天气和照明条件很敏感，因此在这些情况下，自动驾驶汽车可能会受到感知能力降低的影响。为了解决这个问题，最近的研究集中在利用毫米波雷达系统，该系统具有车规级设计，可确保在各种条件下的鲁棒性。雷达的其它好处包括它们的低成本、长检测范围和多普勒效应信息(捕获目标的速度)。因此，设计一个可以有效利用雷达进行三维目标检测的模型具有重要意义。

---

2. Method

---

3. Experiments