【CVPR'24】TPVD:三视图分解的深度补全,Tri-Perspective View Decomposition for Geometry-Aware Depth Completion
项目地址:https://yanzq95.github.io/projectpage/TOFDC/index.html
摘要
深度补全是自动驾驶中的一项关键任务,因为它涉及从稀疏和噪声深度测量中重建场景的精确三维几何。然而,大多数现有方法要么仅依赖于二维深度表示,要么直接结合原始三维点云进行补偿,这些方法仍不足以捕捉场景的细粒度三维几何。为了解决这一挑战,我们提出了一种名为三视图分解(Tri-Perspective View Decomposition, TPVD)的新框架,该框架可以显式建模三维几何。具体而言,(1) TPVD 巧妙地将原始点云分解为三个二维视图,其中一个视图对应于稀疏深度输入。 (2) 我们设计了 TPV Fusion,通过循环的 2D-3D-2D 聚合更新二维 TPV 特征,并应用了距离感知球形卷积 (DASC)。 (3) 通过自适应选择 TPV 的相似邻居,新提出的几何空间传播网络 (GSPN) 进一步提高了几何一致性。结果表明,我们的 TPVD 在 KITTI、NYUv2 和 SUN RGBD 上的表现优于现有方法。此外,我们构建了一个新的深度补全数据集,名为 TOFDC,该数据集由智能手机上的飞行时间 (TOF) 传感器和彩