无监督单目深度估计
文章平均质量分 82
韩十三*
重剑无锋 大巧不工
展开
-
基于transformer的多帧自监督深度估计 Multi-Frame Self-Supervised Depth with Transformers
多帧深度估计除了学习基于外观的特征外,也通过特征匹配利用图像之间的几何关系来改善单帧估计。我们采用深度离散的核极抽样来选择匹配像素,并通过一系列的自我和交叉注意力来细化预测,这构成了一种新的基于transformer的成本量。这种方式可以改善歧义和局部极小值的标准相似度。方法在KITTI和DDAD上进行测试,效果良好。原创 2023-03-08 17:20:16 · 1245 阅读 · 7 评论 -
时间机会主义者:自监督多帧单目深度 The Temporal Opportunist: Self-Supervised Multi-Frame Monocular Depth
大多数的单目深度估计网络在训练时都没有采用时间序列最为约束信息,本文提出了一种Manydepth,基于立体匹配,提出了一种基于端到端成本量的深度估计网络,并且提出了新的一致性损失,在面对运动物体时,鼓励网络忽略掉成本量,并且提出了一种应对静态相机的增强方案,在KITTI和Cityscapes上效果良好。原创 2022-11-23 17:29:50 · 690 阅读 · 0 评论 -
解释无监督多帧弹幕深度估计的物体运动和遮挡 Disentangling Object Motion and Occlusion for Unsupervised Multi-frame Monocul
传统的自监督单目深度估计是基于静态世界的假设所建立的,所以运动物体会导致深度估计精度下降。现有的方法尽在训练损失级别上解决了运动物体的失配问题,而本文提出了一种新颖的多帧单目深度估计方法,通过动态运动解释模块(DOMD)来解决适配问题,并设计了新的遮挡感知成本体积和再投影损失。在cityspaces和kitti上效果良好。原创 2022-11-09 15:34:53 · 608 阅读 · 0 评论 -
MGNet:自动驾驶的单目几何场景理解 MGNet: Monocular Geometric Scene Understanding for Autonomous Driving
首次提出了单目几何场景理解,并将单目几何场景理解定义为全景分割和自监督单目深度估计(场景理解是计算机视觉中的一个大类,图像分割,检测,识别都算是里面的一种任务,这个定义有点勉强了,还以为是国人,没想到是英文名字)。本文注重于提升响应速度。在KITTI和Cityscapes上进行了测试,效果良好。原创 2022-09-14 17:41:16 · 1079 阅读 · 0 评论 -
用于深度估计的边缘增强自适应加权网络ADAPTIVE WEIGHTED NETWORK WITH EDGE ENHANCEMENT MODULE FOR MONOCULAR SELF-SUPERVIS
自监督单目深度估计广泛的应用与其他领域,但是目前的方法不能很好的预测图像边界的深度信息,因为遮挡和纹理系数会导致光度一致性评估错误。为了解决上述问题原创 2022-06-29 15:50:30 · 1127 阅读 · 4 评论 -
面向实际应用的室内单目深度估计 Toward Practical Monocular Indoor Depth Estimation
Toward Practical Monocular Indoor Depth Estimation面向实际应用的室内单目深度估计0 Abstract 现有的大多数单目深度估计方法都是在室外的驾驶场景中部署,由于室内的物体在距离摄像头较近的位置排列紧密且无规则,这种方法在室内的泛化性很差(场景不同导致模型的泛化性很差是基于数据驱动的方法的通病,这一点无可厚非,但是室内的环境总体上要比室外的环境复杂,这一点确实存在)。为了提高模型的鲁棒性,我们提出了一种结构蒸馏方式,从现成的相对深度估计器中学习诀窍,原创 2022-06-01 10:36:42 · 1371 阅读 · 0 评论 -
面向可解释深度网络的单目深度估计 Towards Interpretable Deep Networks for Monocular Depth Estimation
Towards Interpretable Deep Networks for Monocular Depth Estimation面向可解释深度网络的单目深度估计网络的可解释性:通过数据实验描述神经网络内部每一层甚至是每一个神经元所完成的功能。0 Abstract 近期单目深度估计(MDE)取得了可喜的进展,我们有必要进一步了解网络的内部解释性。现在的方法通过视觉线索来提供事后解释,这无法探索深度估计网络的内部表示。在本文中,我们发现网络的一些隐藏单元对深度范围具有选择性,这种行为可以作为内部表原创 2022-04-20 16:21:44 · 4062 阅读 · 12 评论 -
粒度语义感知表示增强的自监督单目深度估计 Fine-grained Semantics-aware Representation Enhancement
Fine-grained Semantics-aware Representation Enhancement for Self-supervised Monocular Depth Estimation用于自监督单目深度估计的细粒度语义感知表示增强0 Abstract 自监督单目深度估计由于其实用价值和最近的一些有前途的改进从而得到了人们广泛的关注。然而,大多数研究工作忍受着光度损失的有限性,尤其是在弱纹理和对象边界。为了克服这一缺点,本文提出了一种跨域的语义辅助手段,本文目的在于通过隐士语义知识原创 2022-04-05 16:53:04 · 3248 阅读 · 0 评论 -
StructDepth:利用结构规律进行自我监督的室内深度估计StructDepth: Leveraging the structural regularities for self-supervis
StructDepth: Leveraging the structural regularities for self-supervisStructDepth:利用结构规律进行自我监督的室内深度估计0 Abstract 在户外的数据集上,自监督单目深度估计已经取得了令人影响深刻的性能。然而,由于缺乏纹理,自监督单目深度估计的性能在室内显著下降。如果缺乏纹理信息,光度损失的约束性能就会下降,无法训练出好的深度网络。受早期室内建模工作的影响,本文利用室内场景中表现出来的结构规律,训练出更好的网络。总体原创 2022-03-23 17:21:03 · 4076 阅读 · 22 评论 -
基于域分离的全天图像自监督单目深度估计 Self-supervised Monocular Depth Estimation for All Day Images using Domain Separ
Self-supervised Monocular Depth Estimation for All Day Images using Domain Separation基于域分离的全天图像自监督单目深度估计0 Abstract亮点:对于全天道路深度估计中的早晚图像差异过大问题。提出了一个域分离自监督单目深度估计网络,主要用来提升同一个网络在白天和晚上两个场景中的深度估计精度,将白天图像和晚上图像的特征分为私有特征和共同特征,采用正交损失来确立私有特征和共同特征的不同。深度估计21年顶会文章对于遮挡和原创 2022-02-22 09:23:57 · 3301 阅读 · 0 评论 -
通过实例感知学习动态场景 Learning Monocular Depth in Dynamic Scenes via Instance-Aware Projection Consistency
通过实例感知学习动态场景中的单目深度 Learning Monocular Depth in Dynamic Scenes via Instance-Aware Projection Consistency0 摘要提出了一个端到端的联合训练框架,贡献有以下三个方面。强调了运动物体正向投影和反向投影的区别,使用正向投影模块提出了在几何上正确的投影通道...原创 2021-12-07 11:06:44 · 2983 阅读 · 0 评论 -
一种新的阈值描述方法。
一种新的阈值描述方法。原创 2021-12-06 10:21:24 · 132 阅读 · 0 评论 -
深度和自我运动自监督学习的特征度量损失 Feature-metric Loss for Self-supervised Learning of Depth and Egomotion
原文 视频/图像质量评价指标是指通过主客观的方式对主题内容相同的图像信息的变化与失真进行感知、衡量与评价。原创 2021-07-21 09:41:18 · 772 阅读 · 0 评论 -
自监督单目深度估计:通过语义引导解决目标问题 Self-Supervised Monocular Depth Estimation:Solving the Dynamic Object Problem
Self-Supervised Monocular Depth Estimation:Solving the Dynamic Object Problem(自监督单目深度估计:通过语义引导解决目标问题)0 摘要 提出一种新的语义引导的深度估计(SGDepth)方法来处理运动的动态类问题(DC),例如运动的汽车和行人。采用有监督的语义分割和自监督的深度估计进行互利跨域训练,提供防止移动对象污染的光度损失的语义遮蔽方案,以及对非移动对象的检测方法。...原创 2021-04-26 21:57:53 · 2100 阅读 · 1 评论 -
单目深度估计的评价指标
目前评价单目深度估计最常用的量化指标是绝对相对差(AbsRel)、均方根误差(RMSE)、RMSE(log)和相对误差(SqRel)。以下为各量化指标的计算公式。 其中di是真实的深度信息,di* 为预测的深度值,在深度估计有有三个常用的阈值thr=1.25,1.252,1.253,在比较真实的深度di和预测的深度di*时,可以采用如下的方法。选取di/di* 和 di*/di两个之中的最大值,统计所有di中小于阈值thr的像素点所占总体像素点的白分比,越接近于1效果越好,所以阈值越大,即原创 2021-04-19 20:50:14 · 7790 阅读 · 5 评论 -
动态场景下的无监督单目深度学习 Unsupervised Monocular Depth Learning in Dynamic Scenes
Unsupervised Monocular Depth Learning in Dynamic Scenes(动态场景下的无监督单目深度学习)在视频序列中,当运动前后两帧相隔时间较短时,我们认为两帧图片的位姿变化和明暗变化都是存在着一定的范围的,即有光度一致性和几何一致性损失。光度一致性:指在相邻的两帧之间同一个点的像素值集合不会有太大的变化。几何一致性损失:即两帧之间图片中的位姿变化不会有较大波动。极线:如果曲线上两点A,B的切线交于P点,那么P点称为直线AB关于该曲线的极点,PA,PB称为P点的原创 2021-04-13 21:40:47 · 973 阅读 · 0 评论 -
基于无监督的单深度估计
Atlas: End-to-End 3D Scene Reconstruction from Posed Images(论文复现)从姿势图像进行端到端的3D场景重建,该论文发表在2020的ECCV上,我首次见到是在小破站上,该论文主要进行的是一个针对于视频序列的三维重建,B站视频网址,该视频效果极其震撼,故产生了复现该论文的念头,在网上查找发现没有人做过这方面的工作(指公开),所以写此博客,以便记录。论文PDF,github源码。evaluate.py# Copyright 2020 Magic Le原创 2021-03-28 19:10:20 · 904 阅读 · 9 评论 -
无监督深度估计论文阅读
Unsupervised Monocular Depth Estimation with Left-Right Consistency 这篇文章可以看做时无监督深度估计的里程碑之作,主要思想是针对于一个双目摄像头左图与右图相互递归,实现网络的训练过程,由于视差图与深度图互为倒数,所以可以通过得到视差图的方法来得到深度图。以下这一段是一个博主的解释原文链接 这种方法的大体思路是这样的,首先我假设有一个双目摄像头,我将双目摄像头的左图作为整个网络的输入,经过一个卷积神经网络我的输出是两张分别对应双目摄原创 2021-03-08 18:51:21 · 1185 阅读 · 0 评论