【一文看懂深度补全】Deep Depth Completion from Extremely Sparse Data: A Survey

摘要

深度补全旨在从深度传感器（例如 LiDAR）捕获的极度稀疏的深度图中预测密集的逐像素深度。这在自动驾驶、3D 重建、增强现实和机器人导航等各种应用中起着至关重要的作用。近年来，基于深度学习的解决方案在该任务中取得了显著成功，并主导了这一领域的发展趋势。本文首次提供了全面的文献综述，帮助读者更好地把握研究趋势，并清晰地了解当前的进展。我们从网络架构、损失函数、基准数据集和学习策略的设计角度对相关研究进行了调查，并提出了一种新颖的分类方法来对现有方法进行分类。此外，我们在包括室内和室外数据集的三个广泛使用的基准上对模型性能进行了定量比较。最后，我们讨论了现有工作的挑战，并为未来的研究方向提供了一些见解。

1. 引言

获取正确的逐像素场景深度在场景理解[54]、自动驾驶[100]、机器人导航[75]、同时定位与建图[35]、智能农业[23]和增强现实[19]等任务中发挥着重要作用。因此，它在过去几十年中一直是一个长期研究目标。通过单目深度估计算法从单幅图像直接估算场景深度是一种具有成本效益的方法[27]、[32]、[42]、[61]。然而，视觉方法通常会产生较低的推理精度和较差的泛化能力，因此在实际部署中较为脆弱。

另一方面，深度传感器提供了具有真实场景比例的准确而稳健的距离测量，因此更适用于需要安全保障和高性能的应用[26]、[76]、[100]，例如自动驾驶汽车。事实上