[ICRA23‘论文阅读]BEVFusion: Multi-Task Multi-Sensor Fusion with Unified Bird’s-Eye View Representation.

Liu, Z., Tang, H., Amini, A., Yang, X., Mao, H., Rus, D. L., & Han, S. (2023). BEVFusion: Multi-Task Multi-Sensor Fusion with Unified Bird’s-Eye View Representation. 2023 IEEE International Conference on Robotics and Automation (ICRA), 2774–2781. https://doi.org/10.1109/ICRA48891.2023.10160968

BEVFusion: 多任务多传感器融合与统一鸟瞰图表示"

摘要
多传感器融合对于实现准确可靠的自动驾驶系统至关重要。最近的方法基于点级别的融合：将激光雷达点云与摄像头特征进行增强。然而，摄像头到激光雷达的投影丢失了摄像头特征的语义密度，阻碍了这类方法的有效性，特别是对于语义导向任务（如3D场景分割）。在本文中，我们通过BEVFusion打破了这一根深的传统，这是一个高效且通用的多任务多传感器融合框架。它在共享的鸟瞰图（BEV）表示空间中统一了多模态特征，很好地保留了几何和语义信息。为了实现这一点，我们诊断并提升了视图变换中的关键效率瓶颈，通过优化的BEV池化减少了超过40倍的延迟。BEVFusion基本上与任务无关，几乎不需要任何架构更改，可以无缝支持不同的3D感知任务。它在nuScenes上确立了新的技术水平，3D目标检测的mAP和NDS分别提高了1.3％，BEV地图分割的mIoU提高了13.6％，计算成本降低了1.9倍。我们的结果的代码复现可在 https://github.com/mit-han-lab/bevfusion 上找到。

图1：BEVFusion在共享的BEV空间中统一摄像头和激光雷达特征，而不是将一种模态映射到另一种模态。它保留了摄像头的语义密度和激光雷达的几何结构。

图2：BEVFusion从多模态输入中提取特征，并使用视图变换将它们有效地转换为共享的鸟瞰图（BEV）空间。它通过完全卷积的BEV编码器融合统一的BEV特征，并通过特定于任务的头部支持不同的任务。

图3：摄像头到BEV的转换（a）是在统一的BEV空间中执行传感器融合的关键步骤。然而，现有的实现速度非常慢，可能需要长达2秒的时间处理单个场景。我们提出了高效的BEV池化（b），使用间隔缩减和预计算的快速网格关联，将视图变换模块的速度提高了约40倍（c，d）。

图4：BEVFusion在3D目标检测和BEV地图分割上的定性结果。它准确识别远处和小型物体（顶部），并解析拥挤的夜间场景（底部）。