2401_87064292的博客

深度估计是从二维图像推断场景几何的关键步骤。单目深度估计的目标是预测每个像素的深度值或推断深度信息，仅给定单个RGB图像作为输入。这个教程将展示一种用卷积网络和简单损失函数构建深度估计模型的方法。

无监督的深度补全和估计方法通过最小化重建误差进行训练。采样、强度饱和和遮挡等数据增强方案的副作用会影响图像重建质量，从而影响训练信号。因此，尽管在其他视觉任务中的训练流程中被视为必不可少，典型的图像增强方法在深度补全中却被限制在较小的图像强度变化和翻转操作。由于稀疏深度模式中的强度变换会改变3D场景的尺度，几何变换在采样过程中可能会破坏稀疏点，因此稀疏深度模式的增强使用更少。我们提出了一种方法，通过逆转或“撤销”几何变换，将输出深度的坐标变换回原始参考框架，从而解锁先前无法实现的大范围几何增强。

深度估计相关数据集，更多内容请订阅我的专栏。

引导深度补全旨在通过在RGB图像的引导下，从已知像素传播深度信息到剩余像素，以恢复稠密深度图。然而，大多数现有方法通过大量迭代精细化或重复堆叠模块来实现这一目标。由于传统卷积的感受野有限，输入深度图的稀疏性水平变化会影响方法的泛化能力。为了解决这些问题，我们提出了一种特征点云聚合框架，直接在已知点和缺失点之间传播三维深度信息。我们从图像中提取二维特征图，并将稀疏深度图转换为点云以提取稀疏的三维特征。通过将提取的特征视为两组特征点云，可以通过聚合邻近的已知三维特征并使用交叉注意力策略来重构目标位置的深度信息。

近年来，深度学习研究的重点主要集中在提高预测精度。然而，这往往是以增加复杂性为代价的，从而引发了关于深度网络可解释性和可靠性的担忧。最近，人们越来越关注解开深度网络的复杂性并量化其在不同计算机视觉任务中的不确定性。然而，深度补全任务并未受到足够的关注，尽管深度传感器本身具有固有的噪声特性。在本研究中，我们从稀疏且噪声的输入开始，一直到最终预测，专注于深度数据的不确定性建模。我们提出了一种新颖的方法，通过基于归一化卷积神经网络（NCNN）的自监督学习方式，学习输入置信度估计器来识别输入中的干扰测量值。

深度补全在自动驾驶中起着至关重要的作用，其中相机和 LiDAR 是两种互补的传感器。近年来的方法尝试利用隐藏在 LiDAR 中的空间几何约束来增强图像引导的深度补全。然而，这些方法通常效率低下且泛化能力较差。在本文中，我们提出了一种更高效且功能强大的多模态训练方案 BEV@DC，以提升图像引导的深度补全性能。在实际应用中，所提出的 BEV@DC 模型在训练中充分利用了 LiDAR 的丰富几何细节，并在推理时采用一种增强的深度补全方式，仅需输入图像（RGB 和深度）。

对于典型深度网络和我们的方法，RMSE 和 MAE 指标几乎相同，但结构在深度补全中得到了明显的保留。混合深度或模糊深度图输出可能导致较低的 RMSE，并且在 MAE 中只会受到微弱的惩罚。当前的评估指标（RMSE 和 MAE）可能会误导人。

CompletionFormer 结合卷积神经网络（CNN）和 Vision Transformer，提出了一种联合卷积注意力和 Transformer 块（JCAT），用于深度补全任务。该方法将卷积的局部连接性和 Transformer 的全局上下文结合到一个单一模型中，从而在户外 KITTI 和室内 NYUv2 数据集上超越了现有的基于 CNN 的方法，并在效率上显著优于纯 Transformer 方法。

深度补全任务旨在从稀疏的深度测量数据和同步的彩色图像中生成密集的深度图。现有的最先进方法多为基于传播的，通常作为对初始估计的密集深度的迭代改进。然而，这些初始深度估计通常直接将卷积层应用于稀疏深度图。在本文中，我们提出了一种双边传播网络（BP-Net），在最早阶段进行深度传播，以避免直接在稀疏数据上进行卷积。具体而言，我们的方法通过一个非线性模型从附近的深度测量中传播目标深度，该模型的系数由一个多层感知器生成，并基于辐射差异和空间距离进行调整。

从零开始学习深度估计（Depth Estimation）、深度补全（Depth Completion），从稀疏的激光雷达深度到稠密深度图

深度补全旨在从深度传感器（例如 LiDAR）捕获的极度稀疏的深度图中预测密集的逐像素深度。这在自动驾驶、3D 重建、增强现实和机器人导航等各种应用中起着至关重要的作用。近年来，基于深度学习的解决方案在该任务中取得了显著成功，并主导了这一领域的发展趋势。本文首次提供了全面的文献综述，帮助读者更好地把握研究趋势，并清晰地了解当前的进展。我们从网络架构、损失函数、基准数据集和学习策略的设计角度对相关研究进行了调查，并提出了一种新颖的分类方法来对现有方法进行分类。