【CVPR‘23】BEV@DC: 用 BEV 视角来辅助深度补全，Bird’s-Eye View Assisted Training for Depth Completion

1. 摘要

深度补全在自动驾驶中起着至关重要的作用，其中相机和 LiDAR 是两种互补的传感器。近年来的方法尝试利用隐藏在 LiDAR 中的空间几何约束来增强图像引导的深度补全。然而，这些方法通常效率低下且泛化能力较差。在本文中，我们提出了一种更高效且功能强大的多模态训练方案 BEV@DC，以提升图像引导的深度补全性能。在实际应用中，所提出的 BEV@DC 模型在训练中充分利用了 LiDAR 的丰富几何细节，并在推理时采用一种增强的深度补全方式，仅需输入图像（RGB 和深度）。具体而言，几何感知的 LiDAR 特征被投影到统一的鸟瞰图 (BEV) 空间，并与 RGB 特征结合进行 BEV 补全。通过配备新提出的点-体素空间传播网络 (PV-SPN)，该辅助分支通过 3D 密集监督和特征一致性为原始图像分支提供了强大的指导。因此，我们的基线模型在仅使用图像输入时表现出了显著的改进。具体来说，它在多个基准测试中达到了最先进的水平，例如在具有挑战性的 KITTI 深度补全基准测试中排名第一。

2. 介绍

密集深度估计在各种 3D 视觉任务和自动驾驶应用中起着至关重要的作用