ICCV‘23开源 | 兼具泛化性与绝对尺度的单目深度估计！

最新推荐文章于 2024-10-09 23:01:56 发布
最新推荐文章于 2024-10-09 23:01:56 发布
阅读量1k 收藏 16
点赞数 30
分类专栏： 3D视觉从入门到精通 文章标签： 计算机视觉 自动驾驶 算法 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46788581/article/details/137044125
版权
本文介绍了ICCV 2023会议上发表的ZeroDepth算法，该算法成功解决了单目深度估计中的绝对尺度和泛化性问题。ZeroDepth基于Perceiver IO架构，通过输入级几何嵌入和变分潜在表示，实现了在不同数据集和相机参数上的泛化。实验表明，ZeroDepth在多个数据集上表现出优秀的零样本泛化能力和深度估计准确性。
摘要由CSDN通过智能技术生成

作者： 泡椒味的口香糖 | 来源：计算机视觉工坊

在公众号「计算机视觉工坊」后台，回复「原论文」可获取论文pdf和代码链接

0. 笔者个人体会

目前的单目深度估计有两个问题，一个是自监督方法无法估计绝对尺度，另一个是在某个数据集上训练好的模型很难直接泛化到其他数据集。

笔者最近阅读了ICCV 2023的一篇文章ZeroDepth，同时解决了绝对尺度和泛化性两个问题，可以用一个模型直接在室内室外多个数据集上预测绝对深度，感觉在实际应用上有很大价值。因此笔者今天将为大家分享这项工作，当然笔者水平有限，如果有理解不当的地方欢迎大家一起讨论~

1. 效果展示

先看一下ZeroDepth预测的深度图，上方是将RGB和深度值投影的结果，里面还有雷达点云真值做对比，验证深度估计的准确性和绝对尺度。注意ZeroDepth没有在这四个数据集上做过任何微调。这里也推荐工坊推出的新课程《

了解本专栏 订阅专栏 解锁全文 超级会员免费看
YOLOv5改进策略|YOLO模型优化|基于深度的绝对距离预测 学习物体检测和单目深度估计模型
sybh的博客
06-17 796
为了实现完全自动驾驶和导航，主要挑战之一是实现可靠且准确的障碍物检测。人们 提出了许多工作来解决障碍物检测问题[1]。物体检测和距离预测被有效地应用于各 种不同的领域，例如工业机器人[2]、研究机器人[3]、自动驾驶汽⻋[4]等。关于物体 检测，为了成功地在环境中导航，移动系统必须了解其附近的物体。在许多可用于物 体检测的传感器(例如激光雷达传感器)中，我们主要对基于摄像头的室内/室外导 航视觉感兴趣。因此，基于对象识别的相机是指用于识别数码照片中的对象的相关任 务的集合。
ICCV2023 | 室内场景自监督单目深度估计
3D视觉工坊
11-05 496
作者：lovelypanda，来源：GiantPandaCV1. 笔者总结本文方法是一种自监督的单目深度估计框架，名为GasMono，专门设计用于室内场景。本方法通过应用多视图几何的方式解决了室内场景中帧间大旋转和低纹理导致自监督深度估计困难的挑战。GasMono首先利用多视图几何方法获取粗糙的相机姿态，然后通过旋转和平移/尺度优化来进一步优化这些姿态。为了减轻低纹理的影响，该框架将视觉Trans...
运行配置--ICCV23开源 | 兼具泛化性与绝对尺度的单目深度估计！
mina5323的博客
04-07 275
标题：Towards Zero-Shot Scale-Aware Monocular Depth Estimation作者：Vitor Guizilini, Igor Vasiljevic, Dian Chen, Rares Ambrus, Adrien Gaidon机构：丰田研究所 (TRI)尝试重新构建：make docker-build ，可能会开始构建docker镜像。，(我的cuda为11.6)，重启docker。
[单目深度估计---学习记录一]相关理解
weixin_51179742的博客
06-10 1360
深度估计： 利用图像中像素变换获取场景中每个点到相机的距离信息，这种距离信息组成的图称之为深度图绝对深度： 绝对深度反映的是像素点与像素点之间的相对距离相对深度： 相对深度反映的是像素点代表的目标距离相机的真实距离方式： 激光雷达或者深度相机优点： 精度高，获取方便缺点： 对雨天、灰尘及光线等明显；空间测量范围小；无法获取纹理信息；贵方式一： 基于多视点原理： 构建相机阵列，利用多视点之间的冗余信息估计优缺点： 深度信息估计准确，但需要配置相机阵列，实际一般不采用方式二： 基于双目图像（立体匹配技术）原理：
探索深度世界：DepthFM——高效单目深度估计的革命性新方法
gitblog_00074的博客
05-30 578
探索深度世界：DepthFM——高效单目深度估计的革命性新方法 项目地址:https://gitcode.com/CompVis/depth-fm 项目简介 深度估计是计算机视觉领域的一个核心任务，对于自动驾驶、机器人导航和虚拟现实等应用至关重要。而DepthFM是一个创新的开源项目，它引入了一种名为Flow Matching的快速单目深度估计模型。DepthFM不仅在性能上达到同类领先水平，而且...
CVPR 2022 Oral｜港中文开源PoseC3D：基于3D-CNN的骨骼动作识别框架
3D视觉工坊
04-20 2251
编辑丨极市平台 作者丨Kenny@知乎来源丨https://zhuanlan.zhihu.com/p/493374779Paper：https://arxiv.org/abs/2104.13586Code：https://github.com/kennymckormick/pyskl引言PoseC3D framework我们此前的工作 PoseC3D [1] 在今年的...
会议交流 | 欢迎注册 CCKS2021 全国知识图谱与语义计算大会！
开放知识图谱
07-16 3015
欢迎注册 CCKS2021 全国知识图谱与语义计算大会知万物过去 · 谱AI未来2021年8月18日至8月21日 广州http://sigkg.cn/ccks2021主办：中国中文信息学会...
ICCV 2023开源 | 最新跟踪一切！分割一切视频版来了！
3D视觉工坊
09-13 819
作者：泡椒味的口香糖 | 来源：3D视觉工坊添加微信：dddvisiona，备注：SLAM，拉你入群。文末附行业细分群。0. 笔者个人体会视频分割相较于图像分割，最大难点在于长序列中相同类别的数据关联，也就是如何保证这一帧分割出的目标，下一帧还能稳定分割。传统的端到端视频跟踪模型，主要还是遵循一个"检测跟踪"的范式，然后使用短时模块来关联帧间分割。这种方法的缺点是对误检很敏感，而且很难处理长序列，...
ICCV 2023开源 | 屠榜Waymo！超强3D目标检测范式DetZero！
3D视觉工坊
09-15 447
作者：泡椒味的口香糖 | 来源：3D视觉工坊在公众号「3D视觉工坊」后台，回复「原论文」即可获取论文pdf和代码。添加微信：dddvisiona，备注：目标检测，拉你入群。文末附行业细分群。0. 笔者个人体会3D目标检测方案分为Offboard检测和Online检测，主要区别是是否在线运行。Online检测又快又准，但是没办法在长序列中实现鲁棒的目标跟踪，目标轨迹容易出现碎片化。相较而言，Off...
ICCV 2021 | R-MSFM: 用于单目深度估计的循环多尺度特征调制
3D视觉工坊
03-31 2698
标题：R-MSFM: Recurrent Multi-Scale Feature Modulation for Monocular Depth Estimating(ICCV-2021)作者：Zhongkai Zhou, Xinnan Fan, Pengfei , Yuanxue Xin单位：College of Internet of Things Engineeri...
多尺度连续CRF用于单目深度估计
4321多尺度连续CRF作为用于单目深度估计的徐丹1，Elisa Ricci4，5，欧阳万里2，3，王晓刚2，Nicu Sebe11特伦托大学2，香港中文大学3悉尼大学4布鲁诺·凯斯勒基金会5佩鲁贾大学{dan.xu，niculae.sebe}@ unitn.it，...
基于yolov8深度学习的120种犬类检测与识别系统python源码+onnx模型+评估指标曲线+精美GUI界面目标检测狗类检测犬类识别系统
FL1623863129的博客
10-02 1195
【算法介绍】基于YOLOv8深度学习的120种犬类检测与识别系统是一款功能强大的工具，该系统利用YOLOv8深度学习框架，通过21583张图片的训练，实现了对120种犬类的精准检测与识别。该系统基于Python与PyQt5开发，具有简洁的UI界面，支持图片、视频以及摄像头三种方式进行目标检测，并能够将检测结果进行保存。在检测过程中，系统能够实时显示目标位置、目标总数、置信度以及用时等信息，为用户提供直观、清晰的检测结果。该系统在多个领域具有广泛的应用价值。
RT-DETR改进策略：BackBone改进|CAFormer在RT-DETR中的创新应用，显著提升目标检测性能
m0_47867638的博客
10-09 221
在目标检测领域，模型性能的提升一直是研究者和开发者们关注的重点。近期，我们尝试将CAFormer模块引入RT-DETR模型中，以替换其原有的主干网络，这一创新性的改进带来了显著的性能提升。CAFormer，作为MetaFormer框架下的一个变体，结合了深度可分离卷积和普通自注意力机制的优势。在底层阶段，CAFormer采用深度可分离卷积作为令牌混合器，有效降低了计算复杂度并保持了良好的性能；而在顶层阶段，则引入普通的自注意力机制，以更好地捕获长距离依赖性。
2024年计算机视觉与艺术研讨会（CVA 2024）
2302_79376097的博客
10-05 1205
此次大会旨在汇聚全球在计算机视觉与艺术领域内的研究者、工程师、科学家和行业专家，共同探讨和分享这一跨学科领域内的最新研究成果、技术进展和创新应用。本次会议将提供一个优质的交流平台，参与者将有机会了解领域内的最新研究趋势、面临的挑战与机遇，以及未来可能的发展方向。
HalconDotNet实现分水岭图像分割算法详解
仰望星空的博客
10-09 165
分水岭算法是一种强大而有效的图像分割技术，在机器视觉和图像处理领域有着广泛的应用。以下是使用HalconDotNet实现分水岭图像分割的详细步骤，包含8个主要环节，每个环节都会附上详细的C#示例代码。以上代码展示了如何在HalconDotNet中实现分水岭分割的步骤。从图像读取到平滑处理、边缘检测、二值化、区域连接、分水岭分割、后处理，再到最后显示和保存结果。这一系列步骤提供了一个完整的图像处理管道，确保能够有效地分割图像中的不同区域。
目标检测指标：AP，mAP
qq_43949166的博客
10-09 506
AP通过估计曲线的AUC来评估目标检测模型的准确率。根据曲线使用的插值方法，有两种不同的AP计算方法。不同工作中和AP实现中缺乏共识是学术和科学界面临的问题。用不同计算语言编写的度量实现通常与相应的数据集一起分发，共享给定的边界框描述。这些项目确实为社区提供了评估工具，但需要额外的工作来适应其他数据集和边界框格式。本工作回顾了用于对象检测的最常用度量标准，分析了它们的差异、应用和主要概念。
论文精读：基于概率教师学习的跨域自适应目标检测（ICML2022）
最新发布
m0_63294504的博客
10-09 640
在本文中，作者提出了一个简单而有效的框架，称为概率教师(PT,Probabilistic Teacher)，旨在从逐渐发展的教师中捕捉未标记目标数据的不确定性，并以互惠互利的方式指导学生的学习。该方法在多个基于源的/无源的 UDA-OD 基准测试中取得了最先进的结果，并大幅超越了以前的方法。
计算机视觉学习笔记--高斯金字塔，DoG金字塔和拉普拉斯金字塔附带代码
atomy_iiii的博客
10-09 387
DoG 金字塔（Difference of Gaussians Pyramid）拉普拉斯金字塔（Laplacian Pyramid）图像金字塔通常通过对图像进行下采样或上采样来构建。高斯金字塔（Gaussian Pyramid）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值