【CVPR‘24】TPVD：三视图分解的深度补全，Tri-Perspective View Decomposition for Geometry-Aware Depth Completion

项目地址：https://yanzq95.github.io/projectpage/TOFDC/index.html

摘要

深度补全是自动驾驶中的一项关键任务，因为它涉及从稀疏和噪声深度测量中重建场景的精确三维几何。然而，大多数现有方法要么仅依赖于二维深度表示，要么直接结合原始三维点云进行补偿，这些方法仍不足以捕捉场景的细粒度三维几何。为了解决这一挑战，我们提出了一种名为三视图分解（Tri-Perspective View Decomposition, TPVD）的新框架，该框架可以显式建模三维几何。具体而言，(1) TPVD 巧妙地将原始点云分解为三个二维视图，其中一个视图对应于稀疏深度输入。 (2) 我们设计了 TPV Fusion，通过循环的 2D-3D-2D 聚合更新二维 TPV 特征，并应用了距离感知球形卷积 (DASC)。 (3) 通过自适应选择 TPV 的相似邻居，新提出的几何空间传播网络 (GSPN) 进一步提高了几何一致性。结果表明，我们的 TPVD 在 KITTI、NYUv2 和 SUN RGBD 上的表现优于现有方法。此外，我们构建了一个新的深度补全数据集，名为 TOFDC，该数据集由智能手机上的飞行时间 (TOF) 传感器和彩