Depth Estimation 论文及代码汇总，持续更新中~~

置顶 已于 2024-06-12 14:39:55 修改
阅读量1k 收藏 17
点赞数 14
分类专栏： Depth Estimation 文章标签： Depth Depth Anything DepthEstimation MDE
于 2024-03-16 15:47:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/john_bh/article/details/130510299
版权
本文汇总了2024年关于深度估计的最新研究，包括Depth Anything、PatchFusion等方法。这些方法旨在解决高分辨率图像的深度估计、数据扩增、语义信息融合等问题，提升模型的泛化能力和鲁棒性。各方法通过不同的技术手段，如一致性训练、补丁融合、跨光谱融合等，实现了在不同场景下的深度估计性能提升。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

转载请注明作者和出处：http://blog.csdn.net/john_bh/

** Depth Estimation 论文及代码汇总，持续更新中~~**

文章目录

1. Data

NYUv2
Middlebury
RGBDD

2. Metrics

3. 比赛

4. Paper List

4.1 Survey

4.2 Papers

2024

  1. Depth Anything: Unleashing the Power of Large-Scale Unlabeled Data — CVPR_2024 — code

    本文提出了非常实用鲁棒的单目深度估计方法—Depth Anything。文章的目标是不追求新技术模块的情况下，构建一个简单有效的基础模型，用于处理任意环境的任何图片。为此目的设计的数据引擎，可以搜集和自动标注大规模未标注的数据，极大地扩大了数据集，拥有大量数据集能够减少泛化误差。作者研究了两种简单有效的扩大数据的策略，首先，利用数据增强工具创建一个更具挑战性的优化目标，该目标迫使模型积极寻求额外的视觉信息并获得鲁棒的表示；其次，开发了一种辅助监督来强制模型从预训练的编码器继承丰富的语义先验信息。 广泛评估了策略的零样本能力，包括了六个公共数据集和随机捕获的照片。Depth Anything展示了令人印象深刻的泛化能力。此外，通过使用来自NYUv2和KITTI的度量深度信息对其进行微调，达到了新的SOTA。
    在这里插入图片描述

  2. PatchFusion: An End-to-End Tile-Based Framework for High-Resolution Monocular Metric Depth Estimation — CVPR 2024 — code

    解决的问题：高分辨率输入的单幅图像 metric 深度估计 主流的深度估计模型难以适应当今消费相机和设备中常见的不断提高的分辨率。现有的高分辨率策略显示出前景，但它们往往面临局限性，从错误传播到高频细节的丢失。
    如果采用全局下采样方式，该步骤的输出本质上是粗略的，而精细的高频细节会以全局一致性为代价而丢失，提出了一种逐片融合网络，通过高级特征指导，将全局一致的粗糙预测与更精细、不一致的tiled 预测融合在一起的；
    如果采用patch-wise 方法可能导致尺度偏移的预测和补丁之间的波动，从而导致明显的补丁伪影，提出一种全局到局部模块，为融合

最低0.47元/天 解锁文章
深度补全（Depth Completion）算法顶会论文、开源代码汇总！（持续更新）
2401_87064292的博客
09-02 778
从零开始学习深度估计（Depth Estimation）、深度补全（Depth Completion），从稀疏的激光雷达深度到稠密深度图
CVPR 2024 Depth Prompting for Sensor-Agnostic Depth Estimation阅读
morning7777的博客
11-18 818
affinity（相连性）
深度估计(Depth Estimation)
热门推荐
hxxjxw的博客
09-20 1万+
深度估计，顾名思义, 就是利用一张或者唯一/多个视角下的RGB图像，估计图像中每个像素相对拍摄源的距离。 深度估计是从2D图像估计深度是场景重建和理解任务的关键步骤，在计算机视觉领域属于3D重建的一部分 基于深度学习的单目估计依据是像素值关系反映深度关系，方法是拟合一个函数把图像映射成深度图。 单目深度估计Monocular Depth Estimation 单目估计就是使用单目相机。目前应用于自动驾驶的路况判断，多以单目摄像头方案为主 ...
计算机视觉算法中的 深度估计（Depth Estimation）
牛肉胡辣汤
09-16 2439
需要注意的是，这个示例只是一个简单的演示代码，实际的深度估计算法可能需要更复杂的网络结构和训练过程。在传统的双目视觉系统中，通过计算两个摄像头之间的视差（disparity），可以推断出物体的深度。通过对摄像头捕捉到的场景进行深度估计，可以将虚拟对象与现实场景进行精确的融合，提供更加逼真的增强现实体验。​函数显示深度图像。需要注意的是，这个示例只是一个简单的演示代码，实际的深度估计算法可能需要更复杂的网络结构和训练过程。通过对场景中的物体进行深度估计，可以重建出物体的三维模型，从而实现对场景的三维感知。
depth estimation笔记
iTom's blog
10-08 1095
depth estimation 笔记
【人工智能】Transformers之Pipeline（五）：深度估计（depth-estimation）
人工智能领域博客
07-24 5712
本文对transformers之pipeline的深度估计（depth-estimation）从概述、技术原理、pipeline参数、pipeline实战、模型排名等方面进行介绍，读者可以基于pipeline使用文中的代码极简的使用计算机视觉中的深度估计（depth-estimation）模型，应用于3D建模、自动驾驶距离测算等。
6D位姿估计 论文及代码汇总，持续更新~~~
不忘初心~
09-14 6386
6DoF Pose Estimation 论文及代码汇总，持续更新~~~
深度补全 论文及代码汇总，持续更新中~~
不忘初心~
03-14 2839
depth completion
Depth super resolution 论文及代码汇总，持续更新中~~
不忘初心~
03-14 1476
depth super resolution
monocular_depth_estimation:纽约大学数据集上的单眼深度估计
04-02
纽约大学数据集上的单眼深度估计 该项目演示了一种单眼深度估计网络的开发，该网络是改编。
Depth Estimation 论文阅读【不持续】
Zealoe的博客
09-18 1864
开始做depth estimation了~ Depth estimation：深度估计 任务：从给定的单张照片或双目摄像机的照片求出深度。 根据训练时的训练数据可以分为下列三种： 1. 单个图片：直接进行回归网络得到深度的估计。为了提高精度会加入CRF等后处理。目前做的很多是加入额外的合成数据，有domain transfer的问题。 2. 双目相机的照片：通过网络求出dispar...
利用光场进行深度图估计(Depth Estimation)算法之一——聚焦算法
weixin_30825581的博客
04-23 1844
前面几篇博客主要说了光场相机，光场相机由于能够记录相机内部整个光场，可以实现重聚焦(模糊线索)和不同视角的变换(视差线索)，同时也可以利用这个特性进行深度估计（Depth Estimation）。 先说一下利用重聚焦得到的不同聚焦平面图像获取深度图（模糊线索 ,defocus），其实这个原理非常简单。 1. 以聚焦范围为0.2F-2F为例，alpha∈(0.2,2)，取Depth ...
PatchFusion: An End-to-End Tile-Based Frameworkfor High-Resolution Monocular 深度估计（CVPR 24）
weixin_43559672的博客
05-23 822
模块A是简单的卷积层和池化的堆叠，输入原始分辨率图像的切片的堆叠，Dc和Df，（图a中最下面那个Ng就是b Guided Fusion Network）。模块A的输出和粗糙特征Fc输入模块B，Fc经过G2L模块，得到的特征，由于粗糙特征分辨率小，因此参考了mask-rcnn中的roi操作，将低分辨率的特征和高分辨率的切块特征对齐。模块c的输入为B的输出，直接对粗糙特征使用roi，Ff和低尺度上采样。需要注意的是：这里深度估计的上下文（context），指的是估计出深度信息所必要的周围的信息，如纹理梯度等。
这绝对是质量最高的单目深度估计开源方案！
3D视觉工坊
12-17 832
来源：3D视觉工坊添加微信：dddvision，备注：自动驾驶，拉你入群。文末附行业细分群0. 笔者个人体会单目深度估计网络可以估计RGB图像的稠密深度图，但大家可以发现大多数模型的深度图并不准确，尤其是物体边界的深度值非常模糊。而且很多深度估计模型只能处理分辨率很小的图像，图像一大就模糊。这就会导致SLAM/SfM等任务生成的3D场景的物体边界质量非常差。今天笔者将为大家分享一项最新的开源工作P...
Depth Anything——强大的单目深度估计模型
知来者逆的博客
08-03 4224
本研究引入了Depth Anything模型，该模型在稳健的单目深度估计方面展现了高度实用性。通过强调廉价且多样化的未标记图像的价值，并采用两种有效策略，即在学习未标记图像时设定更具挑战性的优化目标以及保留预训练模型的丰富语义先验，使得该模型在零样本深度估计方面表现出色。此外，该模型还可作为有望初始化下游度量深度估计和语义分割任务的有效工具。
有关深度估计的几篇文章的阅读笔记
BigYouYou
02-09 806
一、A generalized Depth Eestimation Algorithm with a Single Image 一种基于单一图像的广义深度估计算法（TPAMI，1992） 1. 边读边记 深度估计对于场景估计、物体识别等计算机视觉方向有重要作用； 严格来说，深度是指物体表面到薄凸透镜的第一主平面的距离； 实体视觉（stereopsis）方法是比较流行的方法，该方法基于测量双目视差（...
depth estimation 深度估计
大丈夫
10-23 5343
depth estimation最近做深度估计的方面研究，对于目前的深度估计问题做一些简要的讲解与记录。 目前深度估计大方向有两大类： 1.作为回归问题处理，代表文章有FCRN 2.作为分类问题处理，代表文章有Monocular Depth Estimation with Hierarchical Fusion of Dilated CNNs and Soft-Weighted-Sum Infere
Depth Estimation
空城记
08-06 3135
http://www.cs.nyu.edu/~deigen/dnl/这篇文章是Depth Map Prediction from a Single Image using a Multi-Scale Deep Network[1] 的升级版，首先增加了更多的卷积层（模型加深），其次增加了第三个尺度提高的分辨率（输出的szie为输入的0.5）。最后多通道的特征图代替了。基于这个框架（下图），实现了用一
Digging into Self-Supervised Monocular Depth Estimation论文复现
最新发布
03-19
### 关于Self-Supervised Monocular Depth Estimation论文的复现方法与代码 #### 复现方法概述 为了成功复现Self-Supervised Monocular Depth Estimation的相关工作，通常需要遵循以下几个方面的要求： 1. **数据准备** 自监督单目深度估计的核心在于利用未标注的数据进行训练。例如，《PackNet：3D Packing for Self-Supervised Monocular Depth Estimation》提到使用视频序列和相机运动信息作为输入[^2]。因此，可以选择公开可用的数据集如KITTI、Cityscapes或DDAD（如果适用），并确保数据预处理阶段能够提取连续帧及其对应的相机姿态。 2. **网络架构设计** 不同的论文采用了不同的网络结构来提升深度估计的效果。例如： - DIFFNet引入了高分辨率编码器，并通过注意力机制优化跳接连接[^1]。 - HR-Depth则专注于增强 shortcut 连接的质量以及采用 fSE 特征融合算子以更好地保留语义和空间信息[^4]。 在实际复现时，可以根据目标需求选择合适的网络结构或者尝试结合多种技术特点。 3. **损失函数定义** 损失函数的设计对于自监督学习至关重要。常见的做法包括但不限于光度一致性损失 (photometric consistency loss)，几何正则化项等。特别值得注意的是，《Digging Into Self-Supervised Monocular Depth Estimation》一文中提到了几种改进措施——最小重投影损失、自适应遮罩损失及全分辨率多尺度采样方法，这些都可以显著改善最终结果[^3]。 4. **实验环境配置** 确保开发环境中安装有必要的依赖库版本匹配（比如PyTorch/TensorFlow）。同时也要注意硬件资源是否满足大规模神经网络训练的需求。 #### 示例代码片段 以下是基于PyTorch框架的一个简单示例，展示如何构建基础版的自监督单目深度估计流程的一部分： ```python import torch import torch.nn as nn from torchvision import models class Encoder(nn.Module): def __init__(self): super(Encoder, self).__init__() resnet = models.resnet18(pretrained=True) layers = list(resnet.children())[:8] self.encoder = nn.Sequential(*layers) def forward(self, x): return self.encoder(x) class Decoder(nn.Module): def __init__(self): super(Decoder, self).__init__() # Define decoder architecture here... def forward(self, x): pass # Implement decoding logic def photometric_loss(img1_warped, img2): """Compute photometric reconstruction error.""" l1_loss = torch.abs(img1_warped - img2).mean() ssim_loss = SSIM()(img1_warped, img2).mean() # Assume an implemented SSIM function exists. total_loss = 0.85 * ssim_loss + 0.15 * l1_loss return total_loss # Instantiate encoder & decoder... encoder = Encoder().cuda() decoder = Decoder().cuda() # Example usage during training loop: for batch_data in dataloader: imgs, poses = batch_data['imgs'], batch_data['poses'] features = encoder(imgs.cuda()) depths_pred = decoder(features) # Predicted inverse depth maps. warped_img = warp_image(depths_pred, poses) # Function to perform warping based on predicted depths and camera poses. loss_value = photometric_loss(warped_img, target_img) optimizer.zero_grad() loss_value.backward() optimizer.step() ``` 上述代码仅为示意性质，具体实现还需参照原论文中的详细算法描述调整参数设定与功能模块。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值