单目深度估计---- MiDaS DPT与Depth-Anything比较

已于 2024-08-04 12:51:26 修改
阅读量2.8k 收藏 29
点赞数 18
文章标签： 计算机视觉 人工智能 3D CV 单目深度估计
于 2024-08-04 12:51:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45834800/article/details/140904752
版权

  • DP T论文说法：DPT在性能上显著优于MiDaS。‌

DPT（‌Dense Predictive Transformers）‌与MiDaS都是深度学习模型，‌用于密集预测任务，‌如单目深度估计和语义分割。‌根据最新的研究和对比实验，‌DPT在多个方面展现出了对MiDaS的优势。‌

  1. 性能对比：‌DPT-Hybrid与MiDaS相比，‌平均相对改进率超过了23%，‌而DPT-Large的平均相对改进率则超过了28%。‌这一性能提升在多个数据集上得到了一致的验证，‌包括使用迄今为止最大的单目深度估计训练集进行的测试1。‌

  2. 数据集适应性：‌DPT不仅在大型数据集上表现优异，‌即使是在较小的数据集上，‌通过微调，‌DPT仍然能够保持其高性能。‌例如，‌在ADE20K数据集上的训练和在Pascal数据集上的微调都显示了DPT的强大性能1。‌

  3. 全局与局部性能：‌DPT能够在保持全局一致性的同时，‌更好地重建细节，‌这在具有挑战的区域（‌如较大的均匀区域）‌中尤为明显。‌这表明DPT在处理复杂场景和保持图像细节方面具有优势1。‌

综上所述，‌DPT在性能、‌适应不同数据集的能力以及处理图像细节的能力方面都展现出了对MiDaS的优势。‌这使得DPT成为当前密集预测任务中的优选模型之一12。‌

  • Depth Anything论文结论：在多个方面优于DPT。‌

Depth Anyt

最低0.47元/天 解锁文章
使用深度预测转换器 (DPT) 进行图像深度估计--附源码
DT程序员的博客
07-31 920
介绍如何使用深度预测转换器 (DPT) 进行图像深度估计，并附源码
【从单张图像解锁深度信息】Depth Anything一种用于鲁棒单目深度估计的高度实用的解决方案
源代码杀手的博客
02-04 860
在不追求新颖的技术模块的情况下，我们的目标是建立一个简单而强大的基础模型，处理任何情况下的任何图像。此外，通过使用 NYUv2 和 KITTI 的度量深度信息对其进行微调，设置了新的 SOTA。这项工作介绍了Depth Anything，一种在1.5百万标记图像和62百万+未标记图像的组合上进行训练，实现强大单目深度估计的实际解决方案。参考:https://zhuanlan.zhihu.com/p/681020500。论文：https://arxiv.org/abs/2401.10891。
Monodepth_Midas_v2：在Openvino（包括NCS2）和DepthAI（OpenCV AI套件，...）上运行的单眼深度估计Midas v2.1
02-12
Monodepth_Midas_v2 在Openvino（包括NCS2）和DepthAI（OpenCV AI套件，...）上运行的单眼深度估计Midas v2.1
超详细！！！一文搞定！单目深度估计MiDas思想Towards Robust Monocular Depth Estimation: Mixing Datasets for Zero-Shot
m0_58969377的博客
06-16 8741
文献的核心内容主要集中在通过混合多数据集来实现单目深度估计模型的稳健性和泛化能力，解决了单一数据集训练带来的局限性。该研究在理论创新和实验验证上都取得了显著成果，为单目深度估计领域提供了新的思路和方法。
MiDaS原理解析【单目深度估计】
最新发布
m0_73442527的博客
03-17 886
MiDaS 在多个不同的数据集上进行训练，以确保在不同场景下具有。MiDaS 主要经历了多个版本的迭代，目前最新版本（解码器负责将特征图（Feature Map）转换为。（背景模糊，类似 iPhone 的“人像模式”）开发，并在多个数据集上训练，以提高泛化能力。，通过深度学习推理出深度信息，适用于。预测场景的相对深度分布。补充：单目图像与双目图像的对比。（Decoder）两个部分。（需借助已知物体进行校准）（低光环境可能影响效果）（场景建模、背景虚化）（Encoder）和。（3D CT 重建）
训练DPT:由测试test到训练train图像的一个epochs的optimize.zero_grad() loss.backward() optimizer.step()
MengYa_Dream的博客
03-09 2307
训练DPT 如何从test进一步得到train呢？一个epochs的optimize.zero_grad() loss.backward() optimizer.step()
Dense Prediction Transformers (DPT) 项目使用指南
gitblog_00361的博客
09-13 1543
Dense Prediction Transformers (DPT) 项目使用指南 DPT 项目地址: https://gitcode.com/gh_mirrors/dpt/DPT ...
深度估计模型的领跑者：Depth Anything与其他模型的对比分析
gitblog_02660的博客
12-16 984
深度估计模型的领跑者：Depth Anything与其他模型的对比分析 depth_anything_vitl14 项目地址: https://gitcode.com/mirrors/LiheYoung/depth_anythi...
基于 MiDaS和Python 开始做深度估计
小白学视觉
06-28 1355
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达测量物体与相机之间的距离在计算机视觉领域中面临着重大挑战，原因包括2D图像中缺乏固有深度信息、透视失真、物体尺寸变化、相机校准要求以及在复杂场景中的遮挡。例如，通过透视投影进行的距离估计依赖于传感器尺寸、焦距和物体的实际高度等变量。这些未知变量的计算增加了任务的复杂性。物体距离的公式一系列基于传统方法和深度学习的方法已经在一段时...
单目深度估计总结
热门推荐
qq_43349542的博客
05-12 1万+
计算机视觉里的深度是指物体离相机的距离，表示为相机坐标系下的Z坐标值。 相对深度和绝对深度估计 单目视频序列深度估计 自监督，需要知道估计相机的姿态变化或者是否固定 首先找到相邻图像对应点的组合，根据这些匹配的点对计算出相机的位姿（相对初始位置，相机的旋转和平移）。 单目深度估计（单图） 1.需要ground truth depth map的深度图的估计(运用到地铁上时需要自己制作数据集，显然不合适，自己只能制作像kitti这样的数据集) 2.不需要 真实值，由深度线索生成深度图。 ...
Depth-Anything
whaosoft143ai的博客
01-23 1324
研究者在六个具有代表性的不可见数据集 KITTI、NYUv2、Sintel、DDAD、ETH3D 和 DIODE 上全面验证了 Depth Anything 模型的零样本深度估计能力 ，并将其与最新 MiDaS v3.1 中的最佳 DPT-BEiT_L-512 模型进行了比较，后者使用的标注图像比前者多。如表 2 所示，在均使用 ViT-L 编码器的前提下，在广泛的场景中，Depth Anything 在 AbsRel 和 δ_1 度量上都大大超过了 MiDaS 的最强模型。这正是这项研究的主要目标。
MiDaS:在“ Ranftl等人，迈向稳健的单眼深度估计”中描述的用于稳健的单眼深度估计的代码
04-28
迈向稳健的单眼深度估计：用于零镜头跨数据集传输的混合数据集 该存储库包含用于从单个图像计算深度的代码。 它伴随我们的： 迈向稳健的单眼深度估计：用于零镜头跨数据集传输的混合数据集RenéRanftl，Katrin Lasinger，David Hafner，Konrad Schindler，Vladlen Koltun MiDaS v2.1在10个数据集（ReDWeb，DIML，电影，MegaDepth，WSVD，TartanAir，HRWSI，ApolloScape，BlendedMVS，IRS）上进行了多目标优化训练。 在5个数据集（本文中的MIX 5 ）上训练过的原始模型可以在找到。 变更日志 [2020年11月]发布了MiDaS v2.1： 经过10个数据集训练的新模型，其度平均比高出 新的轻量级模型可在移动平台上实现。 适用于和示例应用程序 ，可在机器人上轻松部署 [2
基于Torch Hub的深度估计模型MiDaS-python源码.zip
05-02
基于Torch Hub的深度估计模型MiDaS-python源码.zip
Depth Anything: Unleashing the Power of Large-Scale Unlabeled Data精读
weixin_49053303的博客
08-13 665
这项工作介绍了 Depth Anything1，一个高度实用的解决方案，用于稳健的单目深度估计。我们不追求新的技术模块，而是旨在构建一个简单而强大的基础模型，以处理任何环境下的图像。为此，我们通过设计一个数据引擎来收集和自动标注大规模的未标记数据（约6200万），从而显著扩大数据覆盖范围，减少泛化误差。我们探讨了两种简单而有效的策略，使得数据规模的扩大变得有希望。首先，通过利用数据增强工具创建了一个更具挑战性的优化目标，迫使模型积极寻求额外的视觉知识并获取稳健的表征。
基于WonderJourney生成电影级连续的3D场景视频
Mr数据杨
08-20 953
本文详细介绍了在Windows系统下配置WonderJourney项目的全过程，包括虚拟环境的创建、必要依赖包的安装以及如何通过源码修改来解决Windows系统的兼容性问题。通过这篇指南，读者可以轻松避开官方文档中的坑，成功运行WonderJourney项目并生成所需的视频内容。
更面向实用 | DistDepth：自监督单目深度估计新框架！
CV_Autobot的博客
05-24 1249
作者|agent 编辑|汽车人原文链接：https://zhuanlan.zhihu.com/p/442949904点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【深度估计】技术交流群后台回复【深度估计综述】获取单目、双目深度估计等近5年内所有综述！论文链接：Toward Practical Self-Supervised Monocular I...
MiDaS：单目景深估计的创新
weixin_43607107的博客
03-07 1344
MiDaS作为一种基于深度学习的单目深度估计技术，凭借其精确的深度推测能力和广泛的应用场景，已经成为计算机视觉领域的重要研究课题。从自动驾驶到增强现实，从机器人视觉到医学影像，MiDaS都具有巨大的应用潜力。随着技术的不断进步，MiDaS将在未来实现更高的准确性和实时性，为各行业提供更多的价值。
探索深度学习的新边界：DPT——一个强大的深度像素推理框架
gitblog_00023的博客
04-25 779
探索深度学习的新边界：DPT——一个强大的深度像素推理框架 DPTDense Prediction Transformers项目地址:https://gitcode.com/gh_mirrors/dp/DPT 在计算机视觉领域，深度学习已成为解决复杂问题的核心工具。今天，我们要介绍的是一个前沿的深度学习框架——DPT（Deep Pixel Prediction），它是由ISL-org团队开发的...
DPT单目深度估计复现
12-28
### DPT 单目深度估计复现教程 #### 1. 环境准备 为了成功运行DPT模型，需先设置合适的开发环境。推荐使用Anaconda来管理Python虚拟环境。 ```bash conda create -n dpt_env python=3.8 conda activate dpt_env pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu113 pip install timm opencv-python matplotlib scikit-image tensorboardX hydra-core omegaconf einops tqdm ``` 上述命令安装了PyTorch及相关依赖库，以及用于视觉处理和其他辅助功能的包[^2]。 #### 2. 获取预训练权重与代码仓库 访问官方GitHub页面下载最新版本的源码，并获取预训练好的模型参数文件。 ```bash git clone https://github.com/intel-isl/DPT.git cd DPT wget http://files.is.tue.mpg.de/is/datasets/dpt/DPT_Hybrid-ef441691.pt ``` 此部分操作确保能够获得最新的算法实现细节和支持材料[^4]。 #### 3. 数据集准备 对于单目深度估计任务而言，通常会利用公开的数据集如NYUv2、KITTI等作为测试对象。这些数据集中包含了大量带有真实世界标签（即距离信息）的照片样本。如果想要评估模型性能，则需要按照特定格式整理好输入图片路径及其对应的ground truth文件夹结构[^3]。 #### 4. 推理过程说明 完成以上准备工作之后就可以调用`inference.py`脚本来执行推理流程： ```python import os from pathlib import Path from utils.utils import read_image, write_depth from models.depth_estimation.dpt_model_runner import run_dpt def main(): input_path = "path/to/input/image" output_directory = "./output" model_weights = str(Path(__file__).parent / 'weights' / 'DPT_Hybrid-ef441691.pt') img = read_image(input_path) prediction = run_dpt(img, model_weights=model_weights) save_name = f"{Path(output_directory).stem}.png" write_depth(os.path.join(output_directory, save_name), prediction) if __name__ == "__main__": main() ``` 这段简单的Python程序展示了如何加载一张待测图像并将其传递给已训练完毕的DPT网络进行预测；最后将得到的结果保存下来以便后续查看分析[^5]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值