深度补全 论文及代码汇总，持续更新中~~

转载请注明作者和出处：http://blog.csdn.net/john_bh/

深度补全 论文及代码汇总，持续更新中~~

1. 数据集

1. KITTI
2. NYU
3. TOFDC

2. Metrics

3. 比赛

1. ECCV 2022 workshop
   RGB+TOF Depth Completion @MIPI-challenge
   MIPI 2022 Challenge on RGB+ToF Depth Completion: Dataset and Report — paper

2. CVPR 2023 workshop
   RGB+TOF Depth Completion @MIPI-challenge
   MIPI 2023 Challenge on RGB+ToF Depth Completion:Methods and Results — paper

4. 论文

4.1 综述

1. Deep Depth Completion: A Survey — arxiv paper 2022.05
2. RGB Guided ToF Imaging System: A Survey of Deep Learning-based Methods— arxiv paper 2024.05

Arxiv

1. Least Square Estimation Network for Depth Completion — arxiv paper

2. Sparse Fuse Dense: Towards High Quality 3D Detection with Depth Completion — arxiv paper

3. Monitored Distillation for Positive Congruent Depth Completion — arxiv paper

4. UAMD-Net: A Unified Adaptive Multimodal Neural Network for Dense Depth Completion — arxiv paper

5. Struct-MDC: Mesh-Refined Unsupervised Depth Completion Leveraging Structural Regularities from Visual SLAMarxiv paper

6. IP_basic: In Defense of Classical Image Processing: Fast Depth Completion on the CPU — arxiv paper 2018.02 —code(https://arxiv.org/pdf/2007.04251.pdf)

7. Robust Depth Completion with Uncertainty-Driven Loss Functions — arxiv 2021.12

8. SparseFormer: Attention-based Depth Completion Network — arxiv 2022.06

9. SemAttNet: Towards Attention-based Semantic Aware Guided Depth Completion — arxiv 2022.04 — code

10. Segmentation-guided Domain Adaptation for Efficient Depth Completion — paper

11. Sparse SPN: Depth Completion from Sparse Keypoints — paper 2022.12

12. Depth-Independent Depth Completion via Least Square Estimation — paper 2022.03

2024

1. Flexible Depth Completion for Sparse and Varying Point Densities
2. Improving Depth Completion via Depth Feature Upsampling
3. Test-Time Adaptation for Depth Completion — CVPR 2024
4. BP-Net: Bilateral Propagation Network for Depth Completion — CVPR 2024 — Code
5. DeCoTR: Enhancing Depth Completion with 2D and 3D Attentions — CVPR 2024
6. Tri-Perspective View Decomposition for Geometry-Aware Depth Completion — CVPR 2024 — project

   深度补全是自动驾驶的一项重要任务，因为它涉及到从稀疏且嘈杂的深度测量数据中重建场景的精确三维几何图形。然而，大多数现有方法要么仅依赖于二维深度表示，要么直接采用原始三维点云进行补偿，但这些方法仍不足以捕捉场景的精细三维几何图形。为了应对这一挑战，该工作引入了三视角分解（TPVD）技术，这是一种可以明确建立三维几何模型的新型框架。具体来说，(1) TPVD 巧妙地将原始点云分解为三个 2D 视图，其中一个视图对应稀疏深度输入。(2) 设计了 TPV Fusion，通过递归 2D-3D-2D 聚合更新 2D TPV 特征，其中应用了距离感知球形卷积（DASC）。(3) 新提出的几何空间传播网络（GSPN）通过自适应选择冠状病毒亲缘邻域，进一步提高了几何一致性。因此，TPVD 在 KITTI、NYUv2 和 SUN RGBD 上的表现优于现有方法。此外，我们还建立了一个名为 TOFDC 的新型深度补全数据集，该数据集由智能手机上的飞行时间（TOF）传感器和彩色摄像头获取。

2023

1. DesNet: Decomposed Scale-Consistent Network for Unsupervised Depth Completion — AAAI 2023 paper

2. CompletionFormer Depth Completion with Convolutions and Vision Transformers — CVPR 2023 paper — code

   作者提出 CompletionFormer，一种金字塔结构，将基于 CNN 的局部特征与基于 Transformer 的全局表示相结合，以增强深度补全。这种混合架构自然地有利于卷积的局部连通性和 Transformer 在单个模型中的全局上下文。
   但是有两个gaps 需要解决：1.depth 与 rgb 图像的内容gap ；2. 卷积与 transfomer 的语义 gap.
   作者在早期网络阶段嵌入RGB和深度信息。早期多模态信息融合有几个优点:1)它使每个像素的特征向量同时具有RGB和深度信息，使深度无效的像素仍然有机会根据外观相似度可靠的深度测量进行校正;2)以下网络只需要一个分支，从而实现高效的实现。因此，首先使用两个独立的卷积对输入的稀疏深度图S和RGB图像I进行编码。输出被另一个卷积层连接并进一步处理，以获得包含来自两个源内容的原始特征。
   提出一个JCAT模块(Joint Convolutional Attention and Transformer):
   transformer 层或者分的自注意力机制使得深度补全网络从两方面受益：1)它将网络的感受野扩展到每个 Transformer 层的完整图像； 2)由于用深度和 RGB 图像信息嵌入每个标记，自注意力机制不仅通过外观显式地比较每个像素的相似度，而且还通过点积运算的深度。因此，可靠的深度信息可以广播到整个图像，从而能够纠正错误的像素。
   卷积层或者分支，通过通道和空间注意力来提高卷积路径的表征能力。一方面有助于对局部准确的注意力进行建模并减少噪声；另一方面由于卷积和Transformer之间的语义差距，使用注意力机制增加的建模能力是这条路径能够专注与 Transformer层提供的主要特征，同时抑制不必要的特征。
   最后，为了得到更加精确的深度图像，作者采用非局部空间传播网络(NLSPN)进行进一步细化。
   CompletionFormer在室外Kitti深度完成基准和室内NYUv2数据集上的表现优于最先进的基于CNN的方法，与纯基于Transformer的方法相比，实现了显著更高的效率(近1/3 Flop)。
   

3. Learning a Depth Covariance Function — CVPR 2023 paper — project

   提出了学习深度协方差函数，并将其应用于几何视觉任务。给定 RGB 图像作为输入，协方差函数可以灵活地用于定义深度函数的先验、给定观察的预测分布和主动点选择的方法。我们利用这些技术来选择下游任务:深度补全、束调整和单目密集视觉里程计。
   

4. Aggregating Feature Point Cloud for Depth Completion — ICCV 2023 paper

5. LRRU: Long-short Range Recurrent Updating Networks for Depth Completion— ICCV 2023 — code

   Motivation：现有的depth completion 方法虽然取得一定成果，但是其伴随的巨大计算复杂性阻碍了它们的实际应用。为了更高效地完成深度补全，提出了一种新颖的轻量级深度网络框架–长短范围递归更新（LRRU）网络。
   Method：在不学习复杂特征表征的情况下，LRRU 首先粗略填充稀疏输入以获得初始密集深度图，然后通过学习的空间变异核对其进行迭代更新。该方法的迭代更新过程具有内容适应性和高度灵活性，其中内核权重是通过联合考虑引导 RGB 图像和待更新深度图来学习的，而且大到小的内核范围可动态调整，以捕捉长到短范围的依赖关系。它的初始深度图具有粗糙但完整的场景深度信息，这有助于减轻从稀疏深度图直接回归密集深度图的负担，而作者提出的方法可以有效地将其细化为精确的深度图，同时减少可学习参数和推理时间。实验结果表明，提出的 LRRU 变体在不同的参数环境下都能实现最先进的性能。

6. Sparsity Agnostic Depth Completion — WACV 2023 paper — project — code

   提出了一种新的深度补全方法，它不考虑深度点的稀疏性，这在许多实际应用中很可能是不同的。最先进的方法只有在处理输入点的特定密度和分布时才能产生准确的结果，即在训练中观察到的，在实际用例中缩小它们的部署。相反，作者提出的解决方案对训练中从未见过的不均匀分布和极低密度具有鲁棒性。在室内和室外标准基准上的实验结果的是表现鲁棒性，在密度和分布与训练结果相同的情况下，该框架达到了与最先进方法相当的精度，而在其他情况下，该框架要精确得多。
   论文中的 置信度在 S & P模块中起着至关重要的作用。首先，在 Scale 步骤中，它有助于定位估计深度图中的异常值，从而能够在执行缩放过程时软化它们的影响。此外，在 Place 步骤中，为稀疏输入点分配最高置信度使网络能够有效地依赖它们。
   

7. Uncertainty-Aware Interactive LiDAR Sampling for Deep Depth Completion — WACV 2023 paper

8. SIUNet: Sparsity Invariant U-Net for Edge-Aware Depth Completio — WACV 2023 paper

2022

1. DySPN：Dynamic Spatial Propagation Network for Depth Completion — AAAI 2022 paper — code — [RGB guided depth completion] —[ SPN-based Models ]

   图像引导深度补全的目的是生成具有稀疏深度测量的密集深度图和相应的RGB图像。空间传播网络(SPNs)是目前最流行的基于亲和的深度补全方法，但它们仍然存在固定亲和的表示限制和迭代过程中过度平滑的问题。作者的解决方案是在每一次SPN迭代中估计独立的亲和矩阵，但它是过度参数化和计算量大的。本文介绍了一种基于注意的动态方法学习相邻像素间亲和力的有效模型。具体而言，提出的动态空间传播网络(DySPN)利用了非线性传播模型(NLPM)。它将邻域解耦成不同距离的部分，递归生成独立的注意映射，将这些部分细化为自适应亲和矩阵。此外，采用扩散抑制(DS)操作，使模型在早期阶段收敛，防止密集深度的超平滑。最后，为了减少所需的计算成本，还引入了三种变体，在保持相似精度的情况下减少所需的邻居和注意的数量。在实践中，该方法需要更少的迭代来匹配其他spn的性能，并产生更好的整体结果。在提交数据时，DySPN在KITTI深度完井(DC)评估方面优于其他先进(SoTA)方法，并且在NYU Depth v2数据集中也能获得SoTA性能。
   

2. Robust Depth Completion with Uncertainty-Driven Loss Functions — AAAI 2022 paper — [RGB guided depth completion] — [Residual Depth Models ]

   从稀疏激光雷达扫描中恢复密集深度图像是一项具有挑战性的任务。尽管颜色引导的稀疏到密集深度补全方法非常流行，但它们在优化时对像素进行了平等的处理，忽略了稀疏深度图中不均匀的分布特征和合成ground truth 中累积的异常点。本文引入不确定性驱动的损失函数来提高补全的鲁棒性，处理补全过程中的不确定性。具体地说，提出了一个明确的不确定性公式，稳健的深度补全与杰弗里（Jeffrey’s）的先验。引入了参数不确定驱动的损耗，并将其转化为新的损耗函数，对噪声或缺失数据具有鲁棒性。同时，提出了一个多尺度联合预测模型，可以同时预测深度和不确定性图。利用估计的不确定度图对不确定度高的像素点进行自适应预测，得到一个残差图用于细化补全结果。该方法已经在KITTI深度完井基准上进行了测试，并在MAE、IMAE和IRMSE指标方面实现了最先进的鲁棒性能。
   

3. RigNet: Repetitive Image Guided Network for Depth Completion — ECCV 2022 paper — [RGB guided depth completion] — [Late Fusion Models] — [Multiple encoder-decoder Networks ]

   深度补全处理的是从稀疏深度图中恢复密集深度图的问题，而稀疏深度图通常使用彩色图像来促进这一任务。最近的方法主要集中在图像引导学习框架来预测密集深度。然而，图像导向模糊、深度结构不清晰等问题仍然影响着图像导向框架的性能。为了解决这些问题，作者在图像引导网络中探索了一种重复设计，以逐步和充分恢复深度值。具体而言，重复体现在图像引导分支和深度生成分支中。在前一个分支中，设计了一个重复沙漏网络来提取复杂环境下的鉴别图像特征，为深度预测提供了强大的上下文指令。在后一个分支中，引入了一种基于动态卷积的重复制导模块，其中提出了一种高效的卷积分解方法，以降低其复杂性并逐步建模高频结构。该算法使用全局平均池，使信道卷积中的内核大小从3×3下降到1×1。大量的实验表明，该方法在KITTI基准和NYUv2数据集上取得了优异或有竞争力的结果。
   

4. MonDi：Monitored Distillation for Positive Congruent Depth Completion — ECCV 2022 paper — code

   提出了一种从单一图像、其校准和相关稀疏点云推断密集深度图的方法。为了利用现有的产生假定深度图的模型(教师模型)，作者提出了一种自适应知识蒸馏方法，它产生一个正一致的训练过程，其中学生模型避免学习教师的错误模式。考虑盲集合的场景，在该场景中，无法获得用于模型选择和训练的地面真相。该方法被称为“监测蒸馏”，其关键在于一个验证标准，它允许从老师那里学习，选择对给定图像的光度重投影误差最大的预测。其结果是一个蒸馏深度图和一个置信度图，或称为“监测”，用来衡量某一位老师的预测与观察到的图像的吻合程度。监视器自适应加权提取深度，如果所有教师都表现出高残差，标准无监督图像重建损失接管作为监督信号。在室内场景(VOID)中，比盲综合基线提高了13.3%，比无监督方法提高了20.3%;我们拥有79%的模型尺寸缩小，同时保持与最佳监督方法相当的性能。对