开源！超越ZoeDepth！ DepthFM：快速且精确的单目深度估计！

作者 | 3D视觉工坊  编辑 | 自动驾驶之心

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

>>点击进入→自动驾驶之心『深度估计』技术交流群

本文只做学术分享，如有侵权，联系删文

0. 这篇文章干了啥？

提出了DepthFM：一个多功能且快速的最先进的生成式单目深度估计模型。除了传统的深度估计任务外，DepthFM还展示了在深度修复等下游任务中的最先进能力。DepthFM效率高，可以在少数推理步骤内合成深度图。

下面一起来阅读一下这项工作~

1. 论文信息

标题：DepthFM: Fast Monocular Depth Estimation with Flow Matching

作者：Ming Gui, Johannes S. Fischer, Ulrich Prestel, Pingchuan Ma, Dmytro Kotovenko, Olga Grebenkova, Stefan Andreas Baumann, Vincent Tao Hu, Björn Ommer

机构：MCML

原文链接：https://arxiv.org/abs/2403.13788

代码链接：https://github.com/CompVis/depth-fm

官方主页：https://depthfm.github.io/

2. 摘要

单目深度估计对于许多下游视觉任务和应用至关重要。当前针对此问题的判别式方法受到模糊伪影的限制，而最先进的生成方法由于其SDE性质而导致采样速度缓慢。我们不是从噪声开始，而是寻求从输入图像到深度图的直接映射。我们观察到这可以通过流匹配来有效地构建，因为其在解空间中的直线轨迹提供了效率和高质量。我们的研究表明，预先训练的图像扩散模型可以作为流匹配深度模型的充分先验，从而只使用合成数据进行高效训练，以推广到真实图像。我们发现，辅助表面法线损失进一步改善了深度估计。由于我们方法的生成性质，我们的模型可靠地预测其深度估计的置信度。在复杂自然场景的标准基准测试中，尽管仅在少量合成数据上进行训练，我们的轻量级方法以有利的低计算成本表现出最先进的性能。

3. 效果展示

DepthFM是一种具有强零样本泛化能力的快速推理流匹配模型，可以利用强大的先验知识，并且很容易地泛化到未知的真实图像中，而只在合成数据上进行训练。

与其他最先进的模型相比，DepthFM仅用一个函数评估就获得了明显更清晰的图像。Marigold的深度估计耗时是DepthFM的两倍，但无法生成相同粒度的深度图。

4. 主要贡献

（1）提出了DepthFM，一种最先进的、多功能的、快速的单目深度估计模型。除了传统的深度估计任务外，DepthFM还展示了在深度修补和深度条件图像合成等下游任务中的最新能力。

（2）展示了将强大的图像先验从扩散模型成功转移到流匹配模型，几乎不依赖于训练数据，也不需要真实世界的图像。

（3）表明，流匹配模型高效，并能在单个推理步骤内合成深度图。

（4）尽管仅在合成数据上进行训练，但DepthFM在基准数据集和自然图像上表现出色。

（5）将表面法线损失作为辅助目标，以获得更准确的深度估计。

（6）除了深度估计，还可可靠地预测其预测的置信度。

5. 具体原理是啥？

训练Pipeline。 训练受到流匹配和表面法向损失的限制：对于流匹配，使用数据依赖的流匹配来回归地面真实深度与对应图像之间的向量场。此外，通过一个表面法向损失来实现几何真实感。

数据相关的流匹配： DepthFM通过利用图像到深度对，回归出图像分布和深度分布之间的直线向量场。这种方法在不牺牲性能的情况下促进了高效的几步推理。

从扩散先验微调： 作者展示了成功将强大的图像先验从基础图像合成扩散模型（Stable Diffusion v2-1）转移到流匹配模型，几乎不依赖训练数据，并且不需要真实世界的图像。

辅助表面法线损失： 考虑到DepthFM只在合成数据上进行训练，大多数合成数据集提供了地面真实表面法线，将表面法线损失作为辅助目标，以增强DepthFM深度估计的准确性。

6. 实验结果

DepthFM通过仅在63k纯合成样本上进行训练展现出了显著的泛化能力，并且能够在室内外数据集上进行零-shot深度估计。表1定性地展示了DepthFM与最先进的对应模型的性能对比。虽然其他模型通常依赖于大量数据集进行训练，但DepthFM利用了基于扩散的基础模型中固有的丰富知识。这种方法不仅节省了计算资源，而且强调了模型的适应性和训练效率。

对基于扩散的Marigold深度估计、流匹配（FM）基准和DepthFM模型进行比较。每种方法仅使用一个集合成员进行评估，并针对两个常见基准数据集进行不同数量的函数评估（NFE）。与FM基准相比，DepthFM集成了训练过程中的法线损失和数据相关的耦合。

对于Marigold和的DepthFM模型在不同数量的功能评估中的定性结果。值得注意的是，通过一步推断，Marigold并没有给出任何有意义的结果，而DepthFM的结果已经显示了真实的深度图。

在Hypersim上进行深度补全。左：给予部分深度。中：深度估计从给定的部分深度。右：真值深度。

7. 总结

DepthFM，一种用于单目深度估计的流匹配方法。通过学习输入图像和深度之间的直接映射，而不是将正态分布去噪为深度图，该方法明显比当前基于扩散的解决方案更高效，同时仍提供细粒度的深度图，而不会出现判别式范式的常见伪影。DepthFM使用预先训练好的图像扩散模型作为先验，有效地转移到了深度流匹配模型中。因此，DepthFM只在合成数据上进行了训练，但在推断期间仍然能很好地推广到自然图像。此外，辅助表面法线损失已被证明能改善深度估计。DepthFM的轻量级方法具有竞争力，速度快，并提供可靠的置信度估计。

对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文

投稿作者为『自动驾驶之心知识星球』特邀嘉宾，欢迎加入交流！

① 全网独家视频课程

BEV感知、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、大模型与自动驾驶、Nerf、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码即可学习）

网页端官网：www.zdjszx.com

② 国内首个自动驾驶学习社区

国内最大最专业，近2700人的交流社区，已得到大多数自动驾驶公司的认可！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（2D/3D检测、语义分割、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型、端到端等，更有行业动态和岗位发布！欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频

③【自动驾驶之心】技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦2D/3D目标检测、语义分割、车道线检测、目标跟踪、BEV感知、多模态感知、Occupancy、多传感器融合、transformer、大模型、在线地图、点云处理、端到端自动驾驶、SLAM与高精地图、深度估计、轨迹预测、NeRF、Gaussian Splatting、规划控制、模型部署落地、cuda加速、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流等方向。扫码添加汽车人助理微信邀请入群，备注：学校/公司+方向+昵称（快速入群方式）

④【自动驾驶之心】平台矩阵，欢迎联系我们！