Metric3D：Towards Zero-shot Metric 3D Prediction from A Single Image

已于 2023-08-02 10:11:05 修改
阅读量3k 收藏 6
点赞数
分类专栏： # Depth Estimation 文章标签： 3d 数码相机
于 2023-08-02 00:38:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m_buddy/article/details/132052751
版权
文章探讨了在深度学习中如何通过考虑焦距因素，实现scale-invariant的深度估计。Metric3D方法通过校准训练数据，针对不同设备和焦距的差异进行补偿，从而提高模型的泛化能力。实验结果展示了在KITTI和NYU数据集上的性能比较。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

参考代码：Metric3D

介绍

在如MiDas、LeReS这些文章中对于来源不同的深度数据集使用归一化深度作为学习目标，则在网络学习的过程中就天然失去了对真实深度和物体尺寸的度量能力。而这篇文章比较明确地指出了影响深度估计尺度变化大的因素就是焦距 f f f，则对输入的图像或是GT做对应补偿之后就可以学习到具备scale表达能力的深度预测，这个跟车端视觉感知的泛化是一个道理。需要注意的是这里使用到的训练数据集需要预先知道相机的参数信息，且这里使用的相机模型为针孔模型。

在下图中首先比较了两种不同拍摄设备得到的图片在文章算法下测量物体的效果，可以说相差不大。
在这里插入图片描述

有了较为准确的深度估计结果之后，对应的单目slam、里程记这些都不是问题了。在配上大量的深度估计训练数据，那么泛化能力将会得到巨大提升，届时之前许多病态的问题都将得到解决。

方法设计

明确影响深度scale学习关键因子为焦距 f f f

对于针孔相机其内参主要参数为： f x δ x , f y δ y , u 0 , v 0 \frac{f_x}{\delta_x},\frac{f_y}{\delta_y},u_0,v_0 δx​fx​​,δy​fy​​,u0​,v0​，其中 f x , f y , δ x , δ y f_x,f_y,\delta_x,\delta_y fx​,fy​,δx​,δy​分别代表两个方向的焦距（一般情况下取两者相等）和像素大小，物理单位为微米。在相机中还有一个参数是成像传感器的尺寸，但是这个只影响成像的大小，就好比残画幅单反和全画幅单反的区别。

对于另外一个因素 δ \delta δ代表的是一个像素大小，在单孔成像原理中焦距、深度和成像大小的关系为（使用下图A图做相似三角形计算得到）：
d a = S ^ [ f S ^ ′ ] = S ^ ⋅ α , α = [ f S ^ ′ ] d_a=\hat{S}[\frac{f}{\hat{S}^{'}}]=\hat{S}\cdot\alpha,\alpha=[\frac{f}{\hat{S}^{'}}] da​=

最低0.47元/天 解锁文章
2D metric和3D mesh的静态metric
qmphobby的博客
11-30 1486
图片的质量评估（quality metrics for 2D images） 图片的quality metircs的评估方式：有参FR（full reference）、少参RR（reduced reference）和无参NR（no reference） 面向信号的metric：不考虑任何HVS，由于它的低复杂度，一般适用于实时应用。最常用的简单metric仍是peak signal-noise r
【ISAC】Integrated Sensing and Communications: Toward Dual-Functional Wireless Networks for 6G and Bey
qq_41100635的博客
09-22 974
文章目录I. INTRODUCTIONA. Background and MotivationB. Historical View of ISAC1) Early Development of Radars2) How Radar and Communication Inspire Each Other3) Parallel Development of Radar and Communication4) Convergence of S&CC. ISAC: A Paradigm Shift in
大疆&腾讯 | CVPR 2023单目深度估计挑战赛冠军方案分享
CV_Autobot的博客
08-06 1350
作者| 派星星 编辑| CVHub点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【深度估计】技术交流群本文只做学术分享，如有侵权，联系删文Title: Metric3D: Towards Zero-shot Metric 3D Prediction from A Single ImagePaper: https://arxiv.org/pdf/230...
Paper Reading: Metric3D Towards Zero-shot Metric 3D Prediction from A Single Image
S__ph的博客
09-21 749
Metric3D论文阅读
Metric3D
whaosoft143ai的博客
09-13 1577
如下图所示，当用不同像素大小的相机拍摄同一个物体时候，虽然像元大小不同，物体在图像的分辨率不同，但是距离是一致的。论文展示出，直接将预测的连续帧深度重建成点云，并与各类的方法做了对比，包括MVS的方法，放射不变形深度估计的方法，无监督深度估计的方法，videodepth 深度估计的方法等做了对比，发现整体重建精度上会更好。如下图所示，由于焦距不同，不同距离的物体在相机上的成像大小相同，在网络训练的时候，相似的图像，但是标签却不一致，就导致了一对多的标签映射，因此会导致网络混淆，影响训练。whaosoft
Metric3D - 三维几何度量库教程
gitblog_00972的博客
08-10 772
Metric3D - 三维几何度量库教程 Metric3DThe repo for "Metric3D: Towards Zero-shot Metric 3D Prediction from A Single Image"项目地址:https://gitcode.com/gh_mirrors/me/Metric3D 1. 项目介绍 Metric3D 是一个专注于三维几何处理和分析的开源库，由 ...
探索Metric3D：一款强大的3D空间量化工具
gitblog_00030的博客
04-17 815
探索Metric3D：一款强大的3D空间量化工具 Metric3DThe repo for "Metric3D: Towards Zero-shot Metric 3D Prediction from A Single Image"项目地址:https://gitcode.com/gh_mirrors/me/Metric3D 项目简介 是一个开源的、基于Python的3D几何处理和度量计算框架。...
NAACL2021 信息抽取与少/零样本相关论文整理
carrie_0307的博客
04-12 1178
NAACL2021放榜啦！！具体情况这里！ 小编对其中 事件抽取、关系抽取、NER和Few-Shot / Zero-Shot相关的论文整理如下，欢迎补充整理呦: 事件抽取 WEC: Deriving a Large-scale Cross-document Event Coreference dataset from Wikipedia Event Representation with Sequential, Semi-Supervised Discrete Variables Graph C
TNT: Target-driveN Trajectory Prediction
weixin_56836871的博客
12-18 1073
概要： Our key insight is that for prediction within a moderate time horizon, the future modes can be effectively captured by a set of target states 【CC】个人理解核心思想是未来的可能性很多，但是可以通过一组预测状态来刻画。 实际就是后面的先预测一些目标点，然后基于这些点来预测轨迹 这么一个思路。这样做的好处是通过目标点来压缩搜索空间。直观来想这个事情，先规划几个目
【论文阅读】【综述】3D Object Detection 3D目标检测综述
热门推荐
麒麒哈尔的博客
06-04 4万+
aaa3D Detection新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 3D Detection 你好！...
Metric3D 开源项目教程
gitblog_00789的博客
08-10 734
Metric3D 开源项目教程 Metric3DThe repo for "Metric3D: Towards Zero-shot Metric 3D Prediction from A Single Image"项目地址:https://gitcode.com/gh_mirrors/me/Metric3D 1. 项目的目录结构及介绍 Metric3D 项目的目录结构如下： Metric3D/ ...
横扫16大榜单，最强开源单目深度估计算法来了，精度可以直接用于3D重建｜TPAMI 2024...
量子位
08-18 821
Metric3Dv2团队 投稿量子位 | 公众号 QbitAI单目深度估计新成果来了！方法名为Metric3D v2，是CVPR单目深度估计挑战赛冠军方案Metric3D的加强版。用一套模型参数，在未知环境中，同时解决带尺度深度估计和法向估计两个问题。可用于生成真实世界的几何估计：在密集场景和特殊样本上也有较好效果：无需微调和优化，可直接用于无人机感知：无需调整尺度参数，提供单帧3D点云，其精度可...
【论文复现】AB3DMOT: A Baseline for 3D Multi-Object Tracking and New Evaluation Metrics
个人笔记仅供本人查阅参考
04-14 2474
AB3MOT是经典的3D多目标跟踪框架，将2D卡尔曼推广到了3D,并将2D IOU匹配推广到了3D。
走进计算机视觉,带你快速了解cv
Bluebro的博客
11-03 1209
简单来说，计算机视觉就是让计算机能够像人的视觉神经系统一样能提取出图片中的内容，甚至理解图片中更深层的意思。当人看到左边这张图时，首先是看到了火车、建筑物、马路、梯子，往深层思考后判断出现了火车事故，计算机视觉就是致力于让机器能像人一样去“思考”图片。计算机识别这张图图片时，首先生成一个像素矩阵，如右侧图片，如何搭建好像素矩阵和图片含义之间的gap，就是计算机视觉的目标。
《Towards Robust Monocular Depth Estimation：Mixing Datasets for Zero-shot Cross-dataset Transfer》论文笔记
m_buddy的博客
06-06 2904
参考代码：MiDaS 1. 概述 导读：这篇文章提出了一种监督的深度估计方法，其中使用一些很有价值的策略使得最后深度估计的结果具有较大提升。具体来讲文章的策略可以归纳为： 1）使用多个深度数据集（各自拥有不同的scale和shift属性）加入进行训练，增大数据量与实现场景的互补； 2）提出了一种scale-shift invariable的loss用于去监督深度的回归过程，从而使得可以更加有效使用现有数据； 3）采用从3D电影中进行采样的方式扩充数据集，从而进一步增加数据量； 4）使用带有原则属性的多目标
ECCV 2024 精细到毛发程度！颠覆性几何细节的扩散模型GeoWizard来了！
阿木寺的博客
07-08 759
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【Mamba/多模态/扩散】交流群添加微信：CVer5555，小助手会拉你进群！扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！论文：https://arxiv.org/pdf/2403.12013代码：github...
首篇！ZoeDepth: 结合相对和绝对深度的多模态单目深度估计
CV_Autobot的博客
03-15 7924
作者|派派星 编辑| CVHub点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【深度估计】技术交流群后台回复【深度估计综述】获取单目、双目深度估计等近5年内所有综述！Title: ZoeDepth: Zero-shot Transfer by Combining Relative and Metric DepthPaper: https://arxi...
《Robust Consistent Video Depth Estimation》论文笔记
m_buddy的博客
07-02 5583
主页与代码地址：robust_cvd 1. 概述 导读：这篇文章的目的是为了在视频场景下生成稳定的深度估计结果，其提出的算法可以在一个单目视频中估计出一致的深度图和相机位姿。文章首先会使用MiDas为视频中的单帧图像做初始深度估计（主要用于提供深度scale参数），以及使用Ceres Library上计算相机的初始位姿信息。之后再在输入的视频序列上使用在线finetune形式交替进行深度估计结果与相机位姿优化。在上面的finetune优化中使用到了一个几何优化过程去生成稳定平滑地相机移动轨迹（表征为相机关
深度估计 ManyDepth 笔记
m_buddy的博客
06-01 5237
参考代码：manydepth 论文名称：The Temporal Opportunist: Self-Supervised Multi-Frame Monocular Depth 1. 概述 导读：这篇文章借鉴了多视图深度估计中的cost-volume方法（参考：cost-volume概念），并将其引入到单目的自监督深度估计网络中。这里将原来的双目图像换成了一对前后帧图像，从而去构建cost-volume克服之前的单目深度估计中的scale ambiguity问题。此外，为了克服单目情况下cost-vol
few-shot charge
最新发布
01-24
### Few-Shot Learning Introduction Few-shot learning refers to a class of machine learning problems where the model is required to learn from very few examples, typically one or just a handful per category. This approach mimics human ability to generalize from limited data and has become an important area within deep learning research. The task layer's prior knowledge includes all methods that "learn how to learn," such as optimizing parameters for unseen tasks through meta-learning techniques which can provide good initialization for novel tasks[^1]. In this context: - **Meta-Learning**: Aims at designing models capable of fast adaptation with minimal training samples by leveraging previously acquired experience. - **Metric Learning**: Focuses on learning distance metrics between instances so similar ones are closer together while dissimilar remain apart in embedding space. #### Applications in Machine Learning One prominent application involves fine-grained classification using small datasets like Mini-ImageNet, demonstrating performance improvements when comparing different algorithms' embeddings propagation capabilities over time steps (Figure 7)[^2]. Another example comes from multi-label classification scenarios where combining MLP classifiers alongside KNN-based predictions enhances overall accuracy compared to traditional approaches relying solely upon prototype definitions derived directly from support sets during inference phases[^3]. Moreover, hybrid embedding strategies have been explored; these integrate both generalizable features learned across diverse domains along with specialized adjustments made specifically towards target-specific characteristics present only within given training distributions[Dtrain], thereby improving adaptability without sacrificing efficiency too much relative purely invariant alternatives[^4]. ```python def few_shot_classifier(embedding_model, classifier_type='mlp_knn'): """ Demonstrates a simple implementation outline for integrating Multi-layer Perceptron (MLP) and k-nearest neighbors (KNN). Args: embedding_model: Pre-trained neural network used to generate feature vectors. classifier_type: Type of final decision mechanism ('mlp', 'knn', or 'mlp_knn'). Returns: Combined prediction scores based on selected strategy. """ pass # Placeholder function body ``` --related questions-- 1. What specific challenges do few-shot learning systems face? 2. How does metric learning contribute to enhancing few-shot recognition abilities? 3. Can you explain more about the role of prototypes in few-shot classification schemes? 4. Are there any notable differences between MAML and other optimization-based meta-learning frameworks? 5. Which types of real-world problems benefit most significantly from applying few-shot learning methodologies?
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值