Marigold：Repurposing Diffusion-Based Image Generators for Monocular Depth Estimation

最新推荐文章于 2025-01-28 00:01:35 发布

Struart_R

最新推荐文章于 2025-01-28 00:01:35 发布

阅读量2.2k

点赞数 40

分类专栏：三维重建与场景生成文章标签：人工智能单目深度估计计算机视觉扩散模型深度学习

本文链接：https://blog.csdn.net/m0_60177079/article/details/144804205

版权

三维重建与场景生成专栏收录该内容

59 篇文章

订阅专栏

一、概述

Marigold是一个扩散模型和通过微调手段的单目深度估计方法，可以利用预先训练好的Stable Diffusion中的视觉知识，来实现更好更通用的深度估计，实现仿射不变性。由于LDM的优势，Marigold也表现出出色的zero-shot泛化能力，未知真实深度图情况下，在几个真实数据集中获得SOTA性能。

但是复杂场景的话Depth Anything V2更好。

二、相关工作

1、单目深度估计

单目深度估计一般被认为是一种密集的结构化回归性任务。早期的方法局限于特定场景，室内或驾驶场景。为了保证更广泛的适用性，提出更为通用的深度估计模型，可以在特定场景中微调或者直接使用。这些通用模型一般采用MiDAS提出的策略，从RGB-D数据集中采样训练数据，获得更广泛的视觉知识。

绝对深度估计，近期一些工作提出引入相机内参作为额外输入，来实现绝对深度估计。

近期的CNN到Transformer的发展提高了性能，如DPT和Omnidata，LeReS提出两阶段框架，先预测仿射不变深度，在通过计算shift和focal上升到metric depth。HDN提出多尺度深度归一提高了预测细节和平滑性。

Marigold方法提出解决仿射不变深度估计，但并不关注某一个训练集，而是通过LDM寻求一个广泛的图像先验，并根据不同场景进行微调。

2、扩散模型

在text2image领域，有一篇万引论文High-Resolution Image Synthesis with Latent Diffusion Models提到从一个已有LDM上基于LAION-5B训练一个扩散模型，貌似是基于已有扩散模型做其他领域生成的鼻祖。

所以Marigold也使用已有LDM来作单目深度估计。

3、单目深度估计的扩散模型

在此之前，VPD已经提出额外引入文本输入来实现深度扩散。DepthGen提出利用扩散模型实现度量深度预测。

相比于以往的单目深度估计的扩散模型，Marigold可以广泛的用于任何场景，并且可以在特定场景下进行微调。

4、基础模型

这里提到Stable Diffusion作为基础模型，可以在74k个合成深度样本的训练下，学习到真实图像数据集的深度估计。

三、Method

微调原理（下图）：输入图像 $x$ 和GT深度 $d$ ，应用StableDiffusion v2的Encoder编码到潜在空间 $z(x),z(d)$ ，并将 $z(d)$ 不断加噪，并拼接在 $z(x)$ 上输入到StableDiffusion的Diffusion U-Net，之后输出预测噪音，并与初始加噪计算L2范数进行监督。

Overview of the Marigold fine-tuning protocol

推理过程：直接将高斯噪声 $z_t^{(d)}$ concat到给定图像的潜在空间 $z(x)$ 上并经过U-Net网络预测 $\hat{\varepsilon }$ ，并且在原高斯噪声 $z_t^{(d)}$ 上不断去噪得到 $z_0^{(d)}$ ，利用stablediffusion v2的解码器来还原预测深度 $\hat{d}$ 。

其中在微调过程中，U-Net权重可以变化，而encoder和decoder全程frozen，也就是说不需要微调编码过程，只需要优化中间的去噪过程。

另外注意到输入图像是3维的，中间的特征都是RGB3条通道，而输出的深度图是1维的，所以论文将每一个深度分别来预测一个深度 $\hat{d}$ ，最后取三条通道的平均值。

另外在高斯噪声上做了一些改进，加噪过程是一个给定的多分辨率噪声以及一个退火时间表的组合，并不是一味地添加类似的噪声，而是由叠加几个不同尺度的随机高斯噪声图像组成的，这种组合效果相比ddpm效果收敛更快。

仿射不变性怎么体现的？

在初始GT深度图 $d$ ，做了一个线性归一化，使得深度主要落在[-1,1]之间，一方面VAE被规定为取值[-1,1]，满足与深度图对齐，另一方面这个归一化本质是一个仿射变换，使得深度图受限于近平面和远平面，而不依赖于原始数据的统计性，也保证了深度值不受原场景比例和相机参数影响，可以让Marigold专注于深度结构，不受离散的特定深度值的影响。