Cvpr24《Repurposing Diffusion-Based Image Generators for Monocular Depth Estimation》

论文地址：https://arxiv.org/pdf/2312.02145
源码地址：https://github.com/prs-eth/marigold

---

概述

  传统的单目深度估计模型往往在处理含有不熟悉内容和布局的图像时表现不佳，因为它们的视觉知识受限于训练数据，尤其在面对新领域的零样本（zero-shot）泛化时更是如此。尽管当前的单目深度估计模型已经从CNN发展到大型视觉Transformer，但依然存在泛化能力不足的问题。为此，作者提出了一个新的方法，名为 Marigold，它利用了现代生成式扩散模型中丰富的视觉先验知识，特别是基于Stable Diffusion模型的改进。Marigold的核心贡献在于：

• 提出了一种简单且资源高效的微调协议，将预训练的Latent Diffusion Model（LDM）转化为图像条件的深度估计模型，同时保留其丰富的视觉先验知识。
• Marigold在多种数据集上实现了最先进的单目深度估计性能，展示了优异的零样本泛化能力，特别是在某些情况下取得了显著的性能提升。

通过使用合成的RGB-D数据集对Marigold进行微调，该模型能够在单个GPU上快速训练，且无需在新数据上进行广泛的再训练即可应对多样且真实的场景。

---

方法

将单目深度估计问题表述为一个条件去噪扩散生成任务。具体步骤如下：

1. 前向过程（Forward Process）：从条件分布开始 $d_0:=d$，逐步添加高斯噪声，在 t ∈ { 1 , . . . , T } t \in \{1, ..., T\} t∈{1,...,T}的每个噪声等级下获得噪声样本 $d_t$：

   $$d_t=\sqrt{{\bar{\alpha }}_t}{d}_0+\sqrt{1-{\bar{\alpha }}_t}ϵ\text{\hspace{1em}(1)}$$

   其中，$ϵ\sim \mathcal{N}(0,I)$，${\bar{\alpha }}_t={\prod }_{s=1}^t(1-{\beta }_s)$， { β 1 , … , β T } \{\beta_1, \ldots, \beta_T\} {β1​,…,βT​} 是扩散过程的方差调度。

2. 反向过程（Reverse Process）：利用学习到的去噪模型 ${ϵ}_{\theta }(\cdot )$ 逐步移除 $d_t$ 中的噪声，以获得 $d_{t-1}$。模型的参数 $\theta$ 通过以下过程进行更新：

   • 从训练集中获取一个数据对 $(x,d)$；
   • 在随机时间步 $t$，对 $d$ 添加噪声 $ϵ$；
   • 计算噪声估计 $\widehat{ϵ}={ϵ}_{\theta }(d_t,x,t)$；
   • 最小化去噪扩散目标函数：
     $$L={\mathbb{E}}_{d_0,ϵ\sim \mathcal{N}(0,I),t\sim U(T)}\left[\Vert ϵ-\widehat{ϵ}{\Vert }_2^2\right]\text{\hspace{1em}(2)}$$

3. 推理过程（Inference Process）：推理时，从正态分布变量 $d_T$ 开始，通过迭代应用学习到的去噪模型 ${ϵ}_{\theta }(d_t,x,t)$ 逐步重建 $d=d_0$。以上过程将单目深度估计转化为一个条件去噪扩散生成任务，并通过调整去噪U-Net模型实现从噪声到深度图的生成。

训练阶段

  文中基于Stable Diffusion V2的预训练框架，在潜在空间进行扩散训练。Marigold使用了冻结的VAE（变分自编码器）来对输入的图像和其对应的深度图进行编码。对于给定的深度图 $d$，沿着特征通道复制3份来模拟RGB图像输入。此外，将深度图 $d$ 进行线性归一化到 $[-1,1]$，以匹配VAE的设计输入值范围并确保了深度表示在不同数据统计条件下保持一致的仿射不变性：
$$\tilde{d}=\left(\frac{d-d_{2\%}}{d_{98\%}-d_{2\%}}-0.5\right)\times 2\text{\hspace{1em}(3)}$$
其中，$d_{2\%}$ 和 $d_{98\%}$ 分别表示深度图中第2百分位和第98百分位的深度值。该过程确保了场景的深度值在近平面和远平面之间得到合理的映射，使得模型能够聚焦于纯粹的仿射不变深度估计。

其对应的潜变量编码表示为 $z^{(d)}=\mathcal{E}(\tilde{d})$。条件图像 $x$ 也同样被转化到潜变量空间，表示为 $z^{(x)}=\mathcal{E}(x)$。

  将图像和深度潜变量编码沿特征维度连接 $z_t=\text{cat}(z_t^{(d)},z^{(x)})$。为了适应扩展后的输入 $z_t$，Unet的输入通道数增加了一倍。为了防止输入层激活幅度的膨胀，并尽可能维持预训练结构不必拿，文中将输入层的权重张量直接复制扩展一倍，并将其值除以2。去噪器在潜变量空间中进行训练：${ϵ}_{\theta }(z_t^{(d)},z^{(x)},t)$。

  最后由解码器 $D$ 从 $z_0^{(d)}$ 重建数据 $\hat{d}$：$\hat{d}=D(z_0^{(d)})$，最后将三通道的平均值作为预测的深度图。

训练数据

  训练过程使用合成数据进行，因为合成深度图数据在每个像素上都具有有效的深度值，这使得数据更为完整且干净。此外，合成数据避免了真实深度数据中由于传感器物理特性而产生的噪声和丢失像素问题。通过这种方法，Marigold能够在真实场景中实现出色的零样本迁移性能。

多分辨率噪声

  文中提出了退火多分辨率噪声的概念，通过在扩散过程中逐步减弱低分辨率噪声的影响，将噪声分布逐渐过渡到标准高斯噪声。这种方法能够提高模型的训练效率，并改善推理阶段的预测性能。退火策略通过逐步调整噪声层的权重，使得模型能够更好地适应不同尺度的噪声，有助于提高深度估计的精度和稳定性。
  多分辨率噪声的生成 多分辨率噪声的生成过程如下：首先，从不同尺度采样多个高斯噪声图像，形成一个金字塔结构的噪声集合，然后对这些噪声图像进行上采样，使它们达到U-Net输入的分辨率。这些不同尺度的噪声图像通过加权平均和重新归一化组合成一个噪声输入。第 $i$ 层金字塔的噪声权重为 $s^i$，其中 $0<s<1$ 表示低分辨率噪声的影响强度。

  退火策略 为了使多分辨率噪声逐渐逼近扩散模型中使用的标准高斯噪声，文中提出了一种退火策略。这种策略在扩散调度的每个时间步 $t$ 上，对高于0级的噪声层赋予退火权重 $(s\cdot t/T{)}^i$，其中 $T$ 是总扩散步数。这意味着在靠近无噪声终点的时间步，低分辨率层的噪声影响力会逐渐减少，从而逐步过渡到标准的高斯噪声。

  性能提升 通过实验发现，使用这种退火的多分辨率噪声能够加速模型的收敛，并在推理时显著提高深度预测的质量。该策略特别适用于合成数据的短期微调过程，有助于模型更好地应对不同分辨率的噪声环境，提高最终的深度估计精度。

推理阶段

1. 编码图像：首先，使用原始的Stable Diffusion VAE对输入图像 $x$ 进行编码，得到图像的潜变量编码 $z^{(x)}=E(x)$。
2. 初始化深度潜变量：将深度潜变量 $z_T^{(d)}$ 初始化为标准高斯噪声（训练时采用多分辨率噪声）。
3. 逐步去噪：在每个去噪步骤中，将当前深度潜变量 $z_t^{(d)}$ 和条件图像潜变量 $z^{(x)}$ 作为输入，使 U-Net 进行逆扩散过程。
4. 非马尔可夫采样：作者采用了DDIM的方法进行非马尔可夫采样，并使用重采样步骤以加速推理。
5. 解码潜变量：最终，通过解码器 $D$ 对去噪后的潜变量 $z_0^{(d)}$ 进行解码，得到最终的深度图预测 $\hat{d}=D(z_0^{(d)})$，并对输出的三通道取平均值作为最终的深度图估计。

测试阶段集成

  通过对同一输入进行多次推理来提升深度估计的稳定性和精度。由于Marigold模型的推理过程具有随机性，不同的初始噪声会导致预测结果有所差异，因此测试时集成可以有效地降低这种不确定性。
  对于每个输入样本，模型可以执行多次推理。每次推理时，从不同的初始噪声 $z_T^{(d)}$ 开始，得到一组仿射不变的深度预测 { d ^ 1 , d ^ 2 , … , d ^ N } \{\hat{d}_1, \hat{d}_2, \ldots, \hat{d}_N\} {d^1​,d^2​,…,d^N​}。为了对这些预测进行聚合，作者提出了以下的集成方案：

1. 对齐尺度和偏移：首先，对于每次推理得到的深度预测 ${\hat{d}}_i$，计算相对于某个标准尺度和范围的对应尺度 $s_i$ 和偏移 $t_i$，即 ${\hat{d}}_i^{\prime }={\hat{d}}_i\times s_i+t_i$。

2. 联合优化：通过最小化每对对齐后的预测 $({\hat{d}}_i^{\prime },{\hat{d}}_j^{\prime })$ 之间的距离来进行联合优化。具体目标函数为：
   $$\underset{s_1,\dots ,s_N,t_1,\dots ,t_N}{\min }\left(\sqrt{\frac{1}{b}\sum _{i=1}^{N-1}\sum _{j=i+1}^N\Vert {\hat{d}}_i^{\prime }-{\hat{d}}_j^{\prime }{\Vert }_2^2}+\lambda R\right)\text{\hspace{1em}(4)}$$

   其中，$b=\left(\genfrac{}{}{0ex}{}{N}{2}\right)$ 表示预测对的总数，正则化项 $R=|\min (m)|+|1-\max (m)|$ 用于防止结果塌陷到一个平凡解，并强制输出单位尺度。

3. 最终集成预测：在迭代优化对齐过程后，通过像素级中值计算得到集成后的深度图 $m$，公式为：

   $$m(x,y)=\text{median}({\hat{d}}_1^{\prime }(x,y),\dots ,{\hat{d}}_N^{\prime }(x,y))\text{\hspace{1em}(5)}$$

   该集成过程不需要真实值进行对齐，因此即使在测试阶段也可以灵活应用。
   这种测试时集成方案能够在计算效率与预测质量之间提供灵活的权衡。通过选择合适的集成次数 $N$，用户可以在推理时间和深度估计精度之间找到最佳的平衡点。

---

实验结果