【ICCV‘23】聚合点云特征来进行深度补全：Aggregating Feature Point Cloud for Depth Completion

摘要

引导深度补全旨在通过在RGB图像的引导下，从已知像素传播深度信息到剩余像素，以恢复稠密深度图。然而，大多数现有方法通过大量迭代精细化或重复堆叠模块来实现这一目标。由于传统卷积的感受野有限，输入深度图的稀疏性水平变化会影响方法的泛化能力。为了解决这些问题，我们提出了一种特征点云聚合框架，直接在已知点和缺失点之间传播三维深度信息。我们从图像中提取二维特征图，并将稀疏深度图转换为点云以提取稀疏的三维特征。通过将提取的特征视为两组特征点云，可以通过聚合邻近的已知三维特征并使用交叉注意力策略来重构目标位置的深度信息。在此基础上，我们设计了一个神经网络PointDC，用于完成整个深度信息重建过程。实验结果表明，PointDC在KITTI基准测试和NYUv2数据集上取得了优越或具有竞争力的结果。此外，PointDC在输入深度图的不同稀疏性水平和跨数据集评估中展示了更高的泛化能力。

引言

近年来，稠密深度图在各种计算机视觉任务中显示出了极大的重要性，包括自动驾驶【39, 7】、3D目标检测【48, 47】、增强现实【22, 9, 55】和3D重建【11, 35】。然而，目前商用的深度传感器，如LiDAR或RGB-D相机，通常会产生高度稀疏的深度图，无法准确捕捉场景的完整3D信息。为了解决这一局限性，近年来的研究【20, 42, 10】集中在从稀疏观测直接重建稠密深