【自监督深度补全】Self-Supervised Depth Completion Guided by 3D Perception and Geometry Consistency

论文地址：https://arxiv.org/abs/2312.15263
开源代码：https://github.com/youmi-zym/CompletionFormer

摘要

本文提出了一种高精度的自监督深度补全方法，通过3D感知特征和多视几何一致性来实现。该方法使用3D感知空间传播算法与点云表示和注意力加权机制，捕获更合理的邻域特征，同时在深度传播过程中优化模型。实验结果表明，该方法在 NYU-Depth-v2 和 VOID 数据集上相比其他无监督方法表现更优，并与一些有监督方法达到竞争水平。

方法

A. 总体架构

本文提出了一种基于多视几何一致性的自监督框架，该框架结合了由注意力加权机制引导的3D感知空间传播网络，可以获得更高质量的深度补全结果。总体架构如图1所示：

1. 首先，使用编码器-解码器