BEVDepth: Acquisition of Reliable Depth for Multi-view 3D Object Detection

AAAI2023 - BEVDepth: Acquisition of Reliable Depth for Multi-view 3D Object Detection

相关论文

DETR3D：DETR3D: 3D Object Detection from Multi-view Images via 3D-to-2D Queries

摘要

在这项研究中，文章提出了一种新的具有可靠深度估计的3D物体检测器，称为BEVDepth，用于基于相机的鸟瞰图 (BEV) 3D物体检测。文章的工作基于一个关键观察——鉴于深度对于相机 3D 检测至关重要这一事实，最近的方法中的深度估计出人意料地不足。BEVDepth通过利用显式深度监督解决了这个问题。 还引入了相机感知深度估计模块以促进深度预测能力。 此外，文章设计了一种新颖的深度细化模块来应对不精确的特征反投影带来的副作用。借助定制的 Efficient Voxel Pooling 和多帧机制，BEVDepth 在具有挑战性的 nuScenes 测试集上实现了最新的 60.9% NDS，同时保持了高效率。

简介

LiDAR 和摄像头是当前自主系统用于检测 3D 物体和感知环境的两个主要传感器。 虽然基于 LiDAR 的方法已经证明了它们能够提供值得信赖的 3D 检测结果，但基于多视图相机的方法最近因其成本较低而受到越来越多的关注。
LSS 中很好地解决了使用多视角相机进行 3D 感知的可行性。 他们首先使用估计的深度将多视图特征“提升”到 3D 截锥体，然后将截锥体“splat”到参考平面上，通常是鸟瞰图 (BEV) 中的平面。 BEV 表示非常重要，因为它不仅支持多输入摄像头系统的端到端训练方案，而且还为 BEV 分割、对象检测等各种下游任务提供了统一的空间和运动规划。 然而，