【CVPR'23】BEV@DC: 用 BEV 视角来辅助深度补全,Bird’s-Eye View Assisted Training for Depth Completion
1. 摘要
深度补全在自动驾驶中起着至关重要的作用,其中相机和 LiDAR 是两种互补的传感器。近年来的方法尝试利用隐藏在 LiDAR 中的空间几何约束来增强图像引导的深度补全。然而,这些方法通常效率低下且泛化能力较差。在本文中,我们提出了一种更高效且功能强大的多模态训练方案 BEV@DC,以提升图像引导的深度补全性能。在实际应用中,所提出的 BEV@DC 模型在训练中充分利用了 LiDAR 的丰富几何细节,并在推理时采用一种增强的深度补全方式,仅需输入图像(RGB 和深度)。具体而言,几何感知的 LiDAR 特征被投影到统一的鸟瞰图 (BEV) 空间,并与 RGB 特征结合进行 BEV 补全。通过配备新提出的点-体素空间传播网络 (PV-SPN),该辅助分支通过 3D 密集监督和特征一致性为原始图像分支提供了强大的指导。因此,我们的基线模型在仅使用图像输入时表现出了显著的改进。具体来说,它在多个基准测试中达到了最先进的水平,例如在具有挑战性的 KITTI 深度补全基准测试中排名第一。
2. 介绍
密集深度估计在各种 3D 视觉任务和自动驾驶应用中起着至关重要的作用