超详细！！！一文理解Prompting Depth Anything(CVPR2025）

最新推荐文章于 2025-04-21 13:29:20 发布
最新推荐文章于 2025-04-21 13:29:20 发布
阅读量952 收藏 14
点赞数 32
分类专栏： 单目深度估计 文章标签： 深度学习 计算机视觉 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_58969377/article/details/146956874
版权

论文链接：https://arxiv.org/abs/2412.14015

代码链接：https://promptda.github.io/

训练数据集是真实的两个数据集和两个合成的数据集（RGD+LiDAR）

文章的研究动机主要源于单目深度估计领域中存在的尺度模糊性问题。尽管现有的深度基础模型（Depth Foundation Models）在相对深度估计方面取得了显著进展，能够生成高质量的深度图，但它们在实际应用中（如自动驾驶、机器人操作等）面临一个关键挑战：无法直接输出与真实世界一致的度量深度（Metric Depth）。换句话说，这些模型无法准确估计物体到相机的真实距离，因为它们缺乏对绝对尺度的感知能力。

为了解决这一问题，研究者们尝试通过微调（fine-tuning）深度模型或引入额外的输入（如相机内参）来实现度量深度估计，但这些方法仍存在局限性，无法完全解决尺度模糊性问题。因此，文章提出了一种新的思路：借鉴自然语言处理和视觉领域中提示（Prompting）技术的成功经验，将深度基础模型与外部的度量信息（如低成本LiDAR）结合，以实现高精度的度量深度估计。

研究的核心思想

文章的核心思想是将度量深度估计任务视为一种提示（Prompting）任务，通过向深度基础模型提供一个“提示”（即低成本LiDAR的深度信息），引导模型输出准确的度量深度。具体而言，研究者们提出了**Prompt Depth Anything（PDA）**方法，其核心思想包括以下几点：

  1. 提示融合架构（Prompt Fusion Architecture）：

    1. PDA通过一个简洁的提示融合模块，将低成本LiDAR的深度信息整合到深度基础模型的解码器中。这种融合方式不仅保留了深度基础模型的泛化能力，还通过LiDAR的度量信息解决了尺度模糊性问题。

  2. 多尺度提示整合：

    1. 提示融合模块在多个尺度上整合LiDAR深度信息，使得模型能够在不同分辨率下学习深度特征，从而提高深度估计的精度和鲁棒性。

  3. 可扩展的数据管道（Scalable Data Pipeline）：

    1. 为了训练PDA模型，研究者们设计了一个可扩展的数据管道，包括合成数据的LiDAR模拟和真实数据的伪GT深度生成。这解决了现有数据集中缺乏同时包含LiDAR深度和精确GT深度的问题。

  4. 边缘感知深度损失（Edge-aware Depth Loss）：

    1. 为了充分利用真实数据中的高质量边缘信息，文章提出了一种边缘感知深度损失函数。该损失函数结合了伪GT深度的梯度信息和高质量GT深度的整体信息，使得模型能够更好地学习物体边缘和纹理区域的深度。

研究的贡献

文章的主要贡献可以总结为以下几点：

  1. 提出了一种新的度量深度估计范式：

    1. Prompt Depth Anything（PDA）是首次将提示技术引入深度估计领域，通过低成本LiDAR作为提示，实现了高精度的度量深度估计。这一范式为解决深度估计中的尺度模糊性问题提供了新的思路。

  2. 简洁高效的提示融合架构：

    1. PDA设计了一个简洁的提示融合模块，仅增加了5.7%的计算开销，同时显著提高了深度估计的精度。这种融合架构能够充分利用深度基础模型的泛化能力和LiDAR的度量信息。

  3. 可扩展的数据管道和损失函数设计：

    1. 文章提出的可扩展数据管道和边缘感知深度损失函数，解决了训练数据有限的问题，并提高了模型在真实场景中的性能。

  4. 在多个数据集上取得新的最佳性能：

    1. PDA在ARKitScenes和ScanNet++等数据集上取得了新的最佳性能，展示了其在高分辨率（4K）度量深度估计任务中的优越性。

  5. 良好的泛化能力和下游任务应用：

    1. PDA不仅在室内场景中表现出色，还能够泛化到室外场景、动态场景以及不同分辨率的图像。此外，PDA在3D重建和机器人抓取等下游任务中也展示了其实际应用价值。

总结

文章通过将提示技术引入深度估计领域，提出了一种新的度量深度估计方法Prompt Depth Anything（PDA）。这种方法不仅解决了深度基础模型中的尺度模糊性问题，还通过简洁的提示融合架构和可扩展的数据管道，实现了高精度、高分辨率的度量深度估计。PDA在多个数据集上取得了优异的性能，并展示了良好的泛化能力和实际应用价值，为未来深度估计的研究提供了新的方向。

Introduction

  1. 引出问题：

    1. 高质量深度感知是计算机视觉和机器人领域的基础挑战。

    2. 单目深度估计近年来取得进展，但存在尺度模糊性，限制了其在自动驾驶和机器人操作中的应用。

  2. 现有方法的局限性：

    1. 当前解决尺度模糊性的方法（如微调或引入相机内参）未能完全解决问题。

  3. 提出新思路：

    1. 借鉴自然语言和视觉领域中**预训练和提示（Prompting）**的成功经验，提出将度量深度估计视为下游任务，通过提示基础模型来解决尺度模糊性。

  4. 介绍方法：

    1. 提出Prompt Depth Anything（PDA），基于Depth Anything模型，通过融合低成本LiDAR深度信息实现高精度度量深度估计。

  5. 解决训练数据问题：

    1. 提出可扩展数据管道：

      • 为合成数据模拟LiDAR深度。

      • 为真实数据生成高质量边缘的伪GT深度。

      • 引入边缘感知深度损失以减少误差。

  6. 验证与贡献：

    1. 在ARKitScenes和ScanNet++数据集上验证PDA，展示其在度量深度估计中的优越性能和泛化能力。

    2. 提出的主要贡献：

      • 提出PDA新范式。

      • 设计简洁的提示融合架构、数据管道和损失函数。

      • 展示在下游任务（如3D重建和机器人抓取）中的应用潜力。

问题引出 → 2. 现有方法的局限性 → 3. 提出新思路 → 4. 介绍方法 → 5. 解决训练数据问题 → 6. 验证与贡献

Overview

(a) Prompt Depth Anything (Sec. 3.2)

整体架构

  1. 输入图像（Input Image）：

    1. PDA方法的输入是一张RGB图像。

  2. ViT Encoder（视觉Transformer编码器）：

    1. 使用ViT（Vision Transformer）编码器对输入图像进行特征提取。ViT编码器通过多阶段的Transformer模块，将图像分割成多个patch，并提取这些patch的特征。

  3. DPT Decoder（DPT解码器）：

    1. DPT（Dense Prediction Transformer）解码器将ViT编码器提取的特征重新组装成图像级别的表示。DPT解码器通过多尺度特征融合，生成最终的深度图。

  4. Multi-scale Prompt Fusion（多尺度提示融合）：

    1. 这是PDA的核心模块，用于将低成本LiDAR深度信息融合到DPT解码器中。通过多尺度提示融合模块，LiDAR深度信息在解码器的多个尺度上被整合，以指导深度解码。

  5. Output Depth（输出深度）：

    1. 最终输出的深度图，具有高分辨率和高精度的度量深度。

详细模块

  • Prompt Fusion Block（提示融合块）：

    • Linear Interpolate（线性插值）：将低分辨率的LiDAR深度图插值到与当前尺度相同的分辨率。

    • Shallow ConvNet（浅层卷积网络）：通过浅层卷积网络提取LiDAR深度图的特征。

    • Zero-init Project（零初始化投影）：将提取的LiDAR特征投影到与图像特征相同的维度，使用零初始化以确保初始输出与基础模型一致。

    • DPT Inter. Feat.（DPT中间特征）：将投影后的LiDAR特征与DPT解码器的中间特征相加，进行深度解码。

(b) Training Prompt Depth Anything (Sec. 3.3)

训练流程

  1. 合成数据：LiDAR模拟（Synthetic Data: LiDAR Simulation）：

    1. High-quality RGBD（高质量RGBD数据）：使用合成数据集（如HyperSim [51]），这些数据集包含高质量的RGB图像和精确的GT深度。

    2. Sparse Anchor Interpolation（稀疏锚点插值）：通过稀疏锚点插值方法模拟低分辨率、带噪声的LiDAR深度图。具体步骤包括：

      • 将GT深度图降采样到低分辨率（如192×256）。

      • 使用扭曲的网格采样选择一些锚点，剩余的深度值通过RGB相似性（如KNN算法）插值得到。

  2. 真实数据：伪GT深度生成（Real Data: Pseudo GT Depth Generation）：

    1. Captured Videos（捕获的视频）：使用真实数据集（如ScanNet++ [72]），这些数据集包含iPhone LiDAR数据和FARO LiDAR扫描的注释深度。

    2. 3D Recon（3D重建）：使用3D重建方法（如Zip-NeRF [2]）生成伪GT深度图。具体步骤包括：

      • 从视频中检测无模糊帧，并使用DSLR视频提供高分辨率的多视角图像。

      • 使用Zip-NeRF对每个场景进行训练，重新渲染伪GT深度图。

    3. Pseudo GT（伪GT深度）：生成的伪GT深度图具有高质量的边缘信息。

  3. 真实数据：深度损失（Real Data Depth Loss）：

    1. FARO Annotated GT（FARO注释的GT深度）：使用FARO LiDAR扫描的高质量深度注释。

    2. Edge-aware Depth Loss（边缘感知深度损失）：为了减少3D重建带来的误差，提出了一种利用伪GT深度梯度信息的损失函数。

总结

  • Prompt Depth Anything（PDA）：

    • 通过将低成本LiDAR深度信息作为提示，融合到深度基础模型中，实现高精度的度量深度估计。

    • 使用多尺度提示融合模块，将LiDAR深度信息在多个尺度上整合到DPT解码器中。

  • 训练流程：

    • 通过合成数据的LiDAR模拟和真实数据的伪GT深度生成，解决训练数据不足的问题。

    • 引入边缘感知深度损失函数，减少3D重建带来的误差，提高深度估计的准确性。

这张流程图清晰地展示了PDA方法的整体架构和训练过程，帮助理解如何通过提示融合和数据管道实现高精度的度量深度估计。

存在的问题

  1. 传统方法的局限性：

    1. 传统方法依赖于手工设计的特征，泛化能力有限，通常局限于特定的场景或数据集。

  2. 深度学习方法的泛化问题：

    1. 尽管深度学习方法通过多样化数据集和更强大的网络架构提高了泛化能力，但它们仍然无法解决尺度模糊性问题，无法准确估计物体到相机的真实距离。

  3. 潜在扩散模型的局限性：

    1. 潜在扩散模型在相对深度估计方面表现出色，但它们仍然无法解决尺度模糊性问题，无法提供与真实世界一致的绝对深度值。

  4. 度量深度估计的挑战：

    1. 早期的度量深度估计方法通过全局分布分类或在度量深度数据集上微调深度模型，但这些方法仍然无法完全解决尺度模糊性问题。

    2. 最近的方法通过引入相机内参等方法解决单目度量深度估计中的模糊性问题，但这些方法仍然存在局限性，无法在所有场景中实现高精度的度量深度估计。

  5. 深度基础模型的固有模糊性：

    1. 尽管深度基础模型通过大规模数据训练具备了很强的泛化能力，但由于固有的模糊性（如尺度模糊性），它们在度量深度估计方面仍然存在挑战，无法准确估计物体到相机的真实距离。

【小白深度教程 1.8】手把手教你使用 Depth Anything V2 估计单目深度，并映射到 3D 点云（含 Python 代码）
2401_87064292的博客
09-05 3798
我们尝试使用单目深度估计技术（Depth Anything V2），来进行准确的双目深度估计，并将场景转换成 3D 点云，Python 代码在最后。
张 ！！提示词和RAG 结果 拼接方式及原理
最新发布
ZJQ的博客
04-22 362
拼接方式及原理 1. 前置拼接（Prompt First） 2. 后置拼接（Document First） 3. 嵌套拼接（Nested Prompting） 4. 融合拼接（Fused Prompting）
Depth-Anything推理详解及部署实现（下）
周同学的博客
12-14 3143
Depth-Anything推理详解及部署实现（下）
Depth Anything model, large：引领深度估计领域的突破
gitblog_02514的博客
12-05 1040
Depth Anything model, large：引领深度估计领域的突破 depth_anything_vitl14 项目地址: https://gitcode.com/mirrors/LiheYoung/depth_an...
深度估计开源项目：Prompt Depth Anything 使用教程
gitblog_00923的博客
04-09 533
深度估计开源项目：Prompt Depth Anything 使用教程 PromptDA [CVPR 2025] Prompt Depth Anything 项目地址: https://gitcode.com/gh_mirrors...
Depth-Anything的使用记录
Swiss__Roll的博客
02-23 1868
今年年初的Depth-Anything和去年刚出的SAM一样让人感觉震撼。如何获得深度图？Depth-Anything足够了。
CVPR2025：LiMoE: Mixture of LiDAR Representation Learners from Automotive Scenes
Hali_Botebie的博客
04-02 114
LiDAR 数据预训练提供了一种很有前途的方法，可以利用大规模、现成的数据集来提高数据利用率。然而，现有方法主要关注稀疏体素表示，忽略了其他 LiDAR 表示提供的互补属性。在这项工作中，我们提出了 LiMoE，这是一个将专家混合 (MoE) 范式集成到 LiDAR 数据表示学习中的框架，以协同组合多种表示，例如范围图像、稀疏体素和原始点。我们的方法包括三个阶段：(i) 图像到 LiDAR 预训练，将先验知识从图像转移到不同表示之间的点云；
CVPR 2024 Depth Prompting for Sensor-Agnostic Depth Estimation阅读
morning7777的博客
11-18 821
affinity（相连性）
一文跟进Prompt进展！综述+15篇最新论文逐一梳理 .rar
10-18
标题中的“一文跟进Prompt进展！”表明这是一篇关于Prompt技术发展动态的综合文章，而“综述+15篇最新论文逐一梳理”则暗示了作者不仅提供了对Prompt技术的全面概述，还深入分析了近期15篇相关研究论文的核心内容。...
DenseCLIP: Language-Guided Dense Prediction with Context-Aware Prompting（CVPR2022 ）
sanguine__的博客
01-31 1248
最近的进展表明，使用对比图像-文本对的大规模预训练可以从自然语言监督中学习高质量的视觉表示。得益于更广泛的监督来源，这种新范式表现出令人印象深刻的下游分类任务和数据集的可转移性。然而，将从图像-文本对中学到的知识转移到更复杂的密集预测任务的问题却很少被研究。在这项工作中，我们通过隐式和显式地利用来自CLIP的预训练知识，提出了一个新的密集预测框架。具体来说，我们将CLIP中的原始图像-文本匹配问题转换为像素-文本匹配问题，并使用像素-文本得分映射来指导密集预测模型的学习。
『大模型笔记』Jason Wei: 大语言模型的扩展范式！
AI新视界
02-17 423
Jason Wei: 大语言模型的扩展范式！
【AI绘画】ControlNet：一文搞懂Stable Diffusion最重要的插件
2401_86895074的博客
08-27 3615
大家好，我是SD教程菌。当你使用 Stable diffusion 生成图像时，是否有过这种经历？提示词内容在生成结果中似乎都体现出来了，但又总不是自己想要的样子，于是陷入到无限生成（抽卡）的状态，耗费大量时间，逐渐消磨兴趣、耐性及对SD的信任。同样的文字，不同的人理解会不同，想象的画面也各不一样，机器当然也是如此，最好的办法就是“用图表达”。给SD一张参考图，让SD充分理解你的想法。俗话说，一张图胜过千言万语。
【Transformer】11、DPT: Vision Transformer for Dense Prediction
呆呆的猫的博客
11-09 8631
文章目录一、背景和动机二、方法2.1 Transformer encoder2.2 Convolutional decoder2.3 处理不同输入大小三、效果3.1 单目深度估计3.2 语义分割 论文链接：https://arxiv.org/pdf/2103.13413.pdf 代码链接：https://github.com/intel-isl/DPT 一、背景和动机 现有的密集预测模型大都是基于卷积神经网络的模型，基本上都把网络分为两部分： encoder：也就是 backbone decoder：
PromptDA：4K分辨率精准度量深度估计的核心功能
gitblog_00024的博客
04-08 585
PromptDA：4K分辨率精准度量深度估计的核心功能 PromptDA [CVPR 2025] Prompt Depth Anything 项目地址: https://gitcode.com/gh_mirrors/pr/Prom...
视频深度估计
jacke121的专栏
12-31 228
视频深度估计
DepthAnything(1): 先跑一跑Depth Anything
gitblog_06563的博客
09-20 465
DepthAnything(1): 先跑一跑Depth Anything DepthAnything1先跑一跑DepthAnything 项目地址: https://gitcode.com/Resource-Bundle-Col...
计算机视觉算法 DPT(Vision Transformers for Dense Prediction) 论文解读
m0_74347437的博客
04-21 808
关于depth anything前置知识dpt的学习，按照论文编排顺序进行总结
prompt depth anything 深度补全
03-13
### 深度补全概念 深度补全是计算机视觉领域的一个重要研究方向，旨在通过已有的稀疏深度测量来估计完整的高分辨率深度图像。这一过程通常涉及利用来自其他传感器的数据或者基于现有像素之间的关系推断缺失的信息。 在实际应用中，深度补全可以用于改善激光雷达(LiDAR)获取的低密度点云质量，增强RGB-D相机产生的不完全深度映射等场景下获得更加精确和平滑的结果[^1]。 ### 实现方法 #### 自注意力机制与边界一致性 一种有效的实现方式是采用融合了自注意力机制和边界一致性的神经网络架构。这种方法不仅提高了模型对于全局上下文的理解能力，而且保证了预测结果在物体边缘区域具有良好的连续性和清晰度。具体来说： - **自注意力机制**：使得网络能够在处理输入时关注到更重要的特征位置，并有效地传播这些信息至整个图像平面，进而提升整体性能。 - **边界一致性约束**：通过对相邻像素间差异施加惩罚项的方式，在优化过程中促使生成的深度图保持物理意义上的合理性，特别是在不同材质交界的地方避免出现异常突变现象[^3]。 #### CompletionFormer框架详解 另一个值得注意的例子是由CompletionFormer提出的解决方案。此方案提供了一套详细的指南帮助初学者理解和实践深度补全任务，涵盖了从环境搭建、数据准备直到最终评估等多个方面的工作流程。其中特别强调了NLSPN(Non-local Spatial Propagation Network)作为核心组件的作用——它负责在整个空间范围内传递局部细节并调整权重分布以适应不同的语义结构需求[^4]。 ```python import torch.nn as nn class NLSPN(nn.Module): def __init__(self, ...): # 初始化参数省略 super(NLSPN, self).__init__() ... def forward(self, x): ... return output ``` 上述代码片段展示了如何定义一个简单的非局部空间传播网络类`NLSPN`，这是完成高质量深度补全过程中的关键技术之一。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值