Diffusion 公式推导 2

Diffusion 公式推导 中对 DDPM 进行了推导，本文接上文对 DDIM 进行推导。

六. 模型改进

从扩散模型的推理过程不难看出，DDPM 有一个致命缺点 —— 推理速度过慢，因为逆扩散是从 $x_T$ 到 $x_0$ 的完整过程，无法跳过中间的迭代步骤。为了加快推理过程，DDIM (Denoising Diffusion Implicit Models) 维持 DDPM 的扩散过程保持不变，对其去噪过程进行了改进，采用一个非马尔科夫过程，使得生成过程可以在更少的时间步内完成。下面对其进行推导 ¹：

DDIM 假设 $q(x_{t^{\ast }}\mid x_0,x_t)$ 是一个高斯分布（原文中使用的是 $t-1$，这里为了突出隔多步采样，使用 $t^{\ast }$ 标记时间步，$0<t^{\ast }<t$），对其进行待定系数：
$$q(x_{t^{\ast }}\mid x_0,x_t)\sim \mathcal{N}\left(k{x}_0+m{x}_t,{\sigma }^2\right)\text{\hspace{1em}(21)}$$

因此有：
$$x_{t^{\ast }}=k{x}_0+m{x}_t+\sigma ϵ\text{ 其中 }ϵ\sim \mathcal{N}(0,\mathbf{I})\text{\hspace{1em}(22)}$$

将（7）式代入，得到：
$$\begin{array}{rl}{x}_{t^{\ast }}& =k{x}_0+m{x}_t+\sigma ϵ\\ & =k{x}_0+m(\sqrt{{\overline{\alpha }}_t}{x}_0+\sqrt{1-{\overline{\alpha }}_t}{\overline{ϵ}}_0)+\sigma ϵ\\ & =(k+m\sqrt{{\overline{\alpha }}_t})x_0+m\sqrt{1-{\overline{\alpha }}_t}{\overline{ϵ}}_0+\sigma ϵ\\ & =(k+m\sqrt{{\overline{\alpha }}_t})x_0+{ϵ}^{\prime }\end{array}\text{\hspace{1em}(23)}$$

其中，$m\sqrt{1-{\overline{\alpha }}_t}{\overline{ϵ}}_0+\sigma ϵ$ 可以合并成 ${ϵ}^{\prime }$ 是因为高斯分布的可加性，因此有 ${ϵ}^{\prime }\sim \mathcal{N}(0,m^2(1-{\overline{\alpha }}_t)+{\sigma }^2)$。

将（7）式变换成 $x_{t^{\ast }}$ 的形式，然后和（23）式联立：

$$\begin{array}{rl}{x}_{t^{\ast }}& =\sqrt{{\overline{\alpha }}_{t^{\ast }}}{x}_0+\sqrt{1-{\overline{\alpha }}_{t^{\ast }}}{\overline{ϵ}}_0\\ x_{t^{\ast }}& =(k+m\sqrt{{\overline{\alpha }}_t})x_0+{ϵ}^{\prime }\end{array}$$

对应项系数相等得到：
$$\begin{array}{rl}\sqrt{{\overline{\alpha }}_{t^{\ast }}}& =k+m\sqrt{{\overline{\alpha }}_t}\\ 1-{\overline{\alpha }}_{t^{\ast }}& =m^2(1-{\overline{\alpha }}_t)+{\sigma }^2\end{array}\text{\hspace{1em}(24)}$$

因此有：
$$\begin{array}{rl}m& =\sqrt{\frac{1-{\overline{\alpha }}_{t^{\ast }}-{\sigma }^2}{1-{\overline{\alpha }}_t}}\\ k& =\sqrt{{\overline{\alpha }}_{t^{\ast }}}-\sqrt{\frac{1-{\overline{\alpha }}_{t^{\ast }}-{\sigma }^2}{1-{\overline{\alpha }}_t}}\sqrt{{\overline{\alpha }}_t}\end{array}\text{\hspace{1em}(25)}$$

和 DDPM 逆扩散过程一样，代入（7）式将 $x_0$ 替换成 $x_t$ 表示，再将（25）式代入（22）式：
$$\begin{array}{rl}{x}_{t^{\ast }}& =k{x}_0+m{x}_t+\sigma ϵ\\ & =(\sqrt{{\overline{\alpha }}_{t^{\ast }}}-\sqrt{\frac{1-{\overline{\alpha }}_{t^{\ast }}-{\sigma }^2}{1-{\overline{\alpha }}_t}}\sqrt{{\overline{\alpha }}_t})(\frac{x_t-\sqrt{1-{\overline{\alpha }}_t}{\overline{ϵ}}_0}{\sqrt{{\overline{\alpha }}_t}})+\sqrt{\frac{1-{\overline{\alpha }}_{t^{\ast }}-{\sigma }^2}{1-{\overline{\alpha }}_t}}{x}_t+\sigma ϵ\\ & =\sqrt{\frac{{\overline{\alpha }}_{t^{\ast }}}{{\overline{\alpha }}_t}}{x}_t+(\sqrt{1-{\overline{\alpha }}_{t^{\ast }}-{\sigma }^2}-\sqrt{\frac{{\overline{\alpha }}_{t^{\ast }}(1-{\overline{\alpha }}_t)}{{\overline{\alpha }}_t}}){\overline{ϵ}}_0+\sigma ϵ\end{array}\text{\hspace{1em}(26)}$$

需要注意的是，此处的 $\sigma$ 并非（20）式中的 $\sqrt{\frac{1-{\overline{\alpha }}_{t-1}}{1-{\overline{\alpha }}_t}\cdot {\beta }_t}$，而是（21）式中待定的正态分布标准差。DDIM 将此 $\sigma$ 置为 0，这样整个生成过程就是一个确定性的过程，不再引入随机噪声。在这样的情况下，一旦 $x_T$ 确定，那么 DDIM 的样本生成就变成了确定的过程。因此，DDIM 的去噪公式可以写成：
$$\begin{array}{rl}{x}_{t^{\ast }}& =\sqrt{\frac{{\overline{\alpha }}_{t^{\ast }}}{{\overline{\alpha }}_t}}{x}_t+(\sqrt{1-{\overline{\alpha }}_{t^{\ast }}}-\sqrt{\frac{{\overline{\alpha }}_{t^{\ast }}(1-{\overline{\alpha }}_t)}{{\overline{\alpha }}_t}}){\overline{ϵ}}_0\end{array}\text{\hspace{1em}(27)}$$

上式中 ${\overline{ϵ}}_0$ 通过 U-Net 进行预测，其他都是已知参数。

需要注意的是，DDIM 原文中将 DDPM 中的 ${\overline{\alpha }}_t$ 都写成了 ${\alpha }_t$，并且使用的是 $t-1$ 而非 $t^{\ast }$，即：
$$x_{t-1}=\sqrt{\frac{{\alpha }_{t-1}}{{\alpha }_t}}{x}_t+(\sqrt{1-{\alpha }_{t-1}}-\sqrt{\frac{{\alpha }_{t-1}(1-{\alpha }_t)}{{\alpha }_t}}){ϵ}_{\theta }(x_t,t)\text{\hspace{1em}(28)}$$

---

更多推导过程参见 DDPM与DDIM简洁版总结、DDPM和DDIM公式推导(精简版)。也有从相隔多个迭代步数采样向前推的，参见 一个视频看懂DDIM凭什么加速采样|扩散模型相关。

七. 重建

DDIM 原文还额外讨论了重建和插值这两个问题，这里主要介绍重建 ²。

对（28）式变换得到：
$$\frac{x_{t-1}}{\sqrt{{\alpha }_{t-1}}}=\frac{x_t}{\sqrt{{\alpha }_t}}+\left(\sqrt{\frac{1-{\alpha }_{t-1}}{{\alpha }_{t-1}}}-\sqrt{\frac{1-{\alpha }_t}{{\alpha }_t}}\right){ϵ}_{\theta }\left(x_t,t\right)$$

当 $T$ 足够大时，上式其实可以看成用欧拉法来求解一个常微分方程 (ordinary differential equation, ODE)：
$$\frac{x_{t-\Delta t}}{\sqrt{{\alpha }_{t-\Delta t}}}=\frac{x_t}{\sqrt{{\alpha }_t}}+\left(\sqrt{\frac{1-{\alpha }_{t-\Delta t}}{{\alpha }_{t-\Delta t}}}-\sqrt{\frac{1-{\alpha }_t}{{\alpha }_t}}\right){ϵ}_{\theta }\left(x_t,t\right)$$

将 $x$ 和 $\alpha$ 都视为 $t$ 的函数，令 $\sigma =\sqrt{1-\alpha }/\sqrt{\alpha }$，$\overline{x}=x/\sqrt{\alpha }$，对应 ODE 如下：
$$\mathrm{d}\overline{x}(t)={ϵ}_{\theta }\left(\frac{\overline{x}(t)}{\sqrt{{\sigma }^2+1}},t\right)\mathrm{d}\sigma (t)$$

因此有：
$$\frac{x_{t+1}}{\sqrt{{\alpha }_{t+1}}}=\frac{x_t}{\sqrt{{\alpha }_t}}+\left(\sqrt{\frac{1-{\alpha }_{t+1}}{{\alpha }_{t+1}}}-\sqrt{\frac{1-{\alpha }_t}{{\alpha }_t}}\right){ϵ}_{\theta }\left(x_t,t\right)$$

即：
$$x_{t+1}=\frac{\sqrt{{\alpha }_{t+1}}}{\sqrt{{\alpha }_t}}{x}_t+\left(\sqrt{1-{\alpha }_{t+1}}-\sqrt{\frac{{\alpha }_{t+1}(1-{\alpha }_t)}{{\alpha }_t}}\right){ϵ}_{\theta }\left(x_t,t\right)$$

这就是 DDIM 反演的前向公式，常用于重建或者编辑任务中。需要注意的是，这里的 $T$ 足够大 的前提条件在大多数情况下无法满足，所以会出现重建或者编辑质量低的情况。

八. 总结

DDIM 和 DDPM 的正向扩散过程完全一样，逆向扩散时可以隔多步进行采样，通过一个确定性映射直接将噪声转换为数据，避免了 DDPM 中的随机性，在减少生成时间步的同时，保持生成图像的高质量。推理过程中的确定性映射表示如下：
$${\mathbf{x}}_{{\tau }_{i-1}}=\sqrt{{\bar{\alpha }}_{{\tau }_{i-1}}}\left(\frac{{\mathbf{x}}_{{\tau }_i}-\sqrt{1-{\bar{\alpha }}_{{\tau }_i}}{ϵ}_{\theta }({\mathbf{x}}_{{\tau }_i},{\tau }_i)}{\sqrt{{\bar{\alpha }}_{{\tau }_i}}}\right)+\sqrt{1-{\bar{\alpha }}_{{\tau }_{i-1}}}{ϵ}_{\theta }({\mathbf{x}}_{{\tau }_i},{\tau }_i)$$

其中 τ = { τ 1 , τ 2 , . . . , τ N } \tau = \{ \tau_1, \tau_2, ..., \tau_N \} τ={τ1​,τ2​,...,τN​} 是时间步长序列。通过这个机制，DDIM 可以在生成过程中跳过多个步骤。

---

1. 一文带你看懂DDPM和DDIM（含原理简易推导，pytorch代码） ↩︎

2. 扩散模型之DDIM ↩︎