【CVPR‘24】深度补全：Flexible Depth Completion for Sparse and Varying Point Densities

摘要

近年来，深度补全方法在填充相对密集的深度图（例如，在 KITTI 数据集上投影的 64 线 LiDAR 或 NYUv2 上采样的 500 个点）时取得了显著的成果。然而，这些方法在处理非常稀疏的输入（例如 4 线 LiDAR 或 32 个深度点测量值）时的表现尚未得到验证。这些更稀疏的场景带来了新的挑战，例如与 64 线 LiDAR 相比，4 线 LiDAR 使得没有深度的像素与其最近的深度点之间的距离增加了六倍，从 5 个像素增加到 30 个像素。观察到现有方法在处理稀疏和可变分布的深度图时表现不佳，我们提出了一种基于亲和度的偏移校正（ASC）模块，该模块通过预测的图像像素与深度点之间的亲和度，迭代地将深度预测与输入深度对齐。我们的框架使每个深度点能够自适应地影响并改进整个图像的预测，从而在更少线、更少点和可变稀疏设置中获得大幅改进的结果。此外，我们展示了从 KITTI 到 nuScenes 以及从随机采样到不规则点分布的域迁移中性能的改进。我们的校正模块可以轻松添加到任何深度补全或仅 RGB 深度估计模型中，特别是允许后者使用单个模型执行完成和估计任务。

1. 引言

最近在深度补全方面的进展主要集中在对 KITTI 数据集中通过投影 64 线 LiDAR 到 RGB 图像上或从 NYUv2 数据集中随机采样 500 个深度点进行密集化处理。虽然这些方法在