DDPM = 拆楼 + 建楼

• 下面将从 “拆楼-建楼” 的通俗类比中介绍生成扩散模型 DDPM，在这个视角中，我们可以通过较为 “大白话” 的描述以及比较少的数学推导，来得到跟原始论文一模一样的结果。总的来说，下文说明了 DDPM 也可以像 GAN 一样找到一个形象类比，它既可以不用到 VAE 中的 “变分”，也可以不用到 GAN 中的 “概率散度”、“最优传输”，从这个意义上来看，DDPM 甚至算得上比 VAE、GAN 还要简单

拆楼 (加噪)

• 拆楼：通过 $T$ 步加噪，由样本数据 $\mathbf{x}$ (高楼) 得到随机噪声 $\mathbf{z}$ (原料)
  $$\mathbf{x}={\mathbf{x}}_0\to {\mathbf{x}}_1\to {\mathbf{x}}_2\to \cdots \to {\mathbf{x}}_{T-1}\to {\mathbf{x}}_T=\mathbf{z}$$
• 该怎么拆：
  $${\mathbf{x}}_t={\alpha }_t{\mathbf{x}}_{t-1}+{\beta }_t{\mathbf{\epsilon }}_t,{\mathbf{\epsilon }}_t\sim \mathcal{N}(0,\mathbf{I})$$其中有 ${\alpha }_t,{\beta }_t>0$ 且 ${\mathbf{\alpha }}_{\mathbf{t}}^2+{\mathbf{\beta }}_{\mathbf{t}}^2=1$ (注意到，当 ${\alpha }_t^2+{\beta }_t^2=1$ 时，假如 ${\mathbf{x}}_{t-1}\sim \mathcal{N}(0,\mathbf{I})$，则有 ${\mathbf{x}}_t\sim \mathcal{N}(0,\mathbf{I})$. 这可能是施加这一约束的直观原因). ${\beta }_t$ 通常很接近于 0. 反复执行这个拆楼的步骤，我们可以得到：
  $$\begin{array}{rl}{\mathbf{x}}_t=& {\alpha }_t{\mathbf{x}}_{t-1}+{\beta }_t{\mathbf{\epsilon }}_t\\ =& {\alpha }_t({\alpha }_{t-1}{\mathbf{x}}_{t-2}+{\beta }_{t-1}{\mathbf{\epsilon }}_{t-1})+{\beta }_t{\mathbf{\epsilon }}_t\\ =& \cdots \\ =& ({\alpha }_t\cdots {\alpha }_1){\mathbf{x}}_0+\underset{\text{多个相互独立的正态噪声之和}}{\underbrace{({\alpha }_t\cdots {\alpha }_2){\beta }_1{\mathbf{\epsilon }}_1+({\alpha }_t\cdots {\alpha }_3){\beta }_2{\mathbf{\epsilon }}_2+\cdots +{\alpha }_t{\beta }_{t-1}{\mathbf{\epsilon }}_{t-1}+{\beta }_t{\mathbf{\epsilon }}_t}}\end{array}$$式中花括号所指出的部分，正好是多个独立的正态噪声之和，其均值为 0，方差则分别为 $({\alpha }_t\cdots {\alpha }_2{)}^2{\beta }_1^2+({\alpha }_t\cdots {\alpha }_3{)}^2{\beta }_2^2+\cdots +{\alpha }_t^2{\beta }_{t-1}^2+{\beta }_t^2$. 由于 ${\alpha }_t^2+{\beta }_t^2=1$，由数学归纳法可以很容易得到
  $$({\alpha }_t\cdots {\alpha }_1{)}^2+({\alpha }_t\cdots {\alpha }_2{)}^2{\beta }_1^2+({\alpha }_t\cdots {\alpha }_3{)}^2{\beta }_2^2+\cdots +{\alpha }_t^2{\beta }_{t-1}^2+{\beta }_t^2=1$$也就是说，$t$ 步加噪其实就相当于如下式所示的单步加噪：
  $${\mathbf{x}}_t=\underset{\text{记为}{\bar{\alpha }}_t}{\underbrace{({\alpha }_t\cdots {\alpha }_1)}}{\mathbf{x}}_0+\underset{\text{记为}{\bar{\beta }}_t}{\underbrace{\sqrt{1-({\alpha }_t\cdots {\alpha }_1{)}^2}}}{\bar{\mathbf{\epsilon }}}_t,{\bar{\mathbf{\epsilon }}}_t\sim \mathcal{N}(0,\mathbf{I})$$这就为计算 ${\mathbf{x}}_t$ 提供了极大的便利。另一方面，DDPM 会选择适当的 ${\alpha }_t$ 形式，使得 ${\bar{\alpha }}_T\approx 0$，这意味着经过 $T$ 步的拆楼后，所剩的楼体几乎可以忽略了，已经全部转化为原材料 $\mathbf{\epsilon }$

建楼 (生成)

• 建楼时，只需根据拆楼公式 ${\mathbf{x}}_{t-1}\to {\mathbf{x}}_t$ 构建如下的建楼公式 $\mathbf{\mu }({\mathbf{x}}_t)$: ${\mathbf{x}}_t\to {\mathbf{x}}_{t-1}$ ：
  $$\mathbf{\mu }({\mathbf{x}}_t)=\frac{1}{{\alpha }_t}\left({\mathbf{x}}_t-{\beta }_t{\mathbf{ϵ}}_{\mathbf{\theta }}({\mathbf{x}}_t,t)\right)$$其中 $\mathbf{\mu }({\mathbf{x}}_t)$ 即为我们想要的生成模型，同时通过这种参数化的表达还显式地引入了残差结构。可以看到，该生成模型主要就是对 $t$ ($1\le t\le T$) 步的噪声 ${\mathbf{\epsilon }}_t$ 进行建模。注意到 ${\mathbf{ϵ}}_{\mathbf{\theta }}({\mathbf{x}}_t,t)$ 中，我们在输入中显式地写出了 $t$，这是因为原则上不同的 $t$ 处理的是不同层次的对象，所以应该用不同的重构模型，即应该有 $T$ 个不同的重构模型才对，于是我们共享了所有重构模型的参数，将 $t$ 作为条件传入。按照论文附录的说法，$t$ 是转换成 Transformer 升级之路：1、Sinusoidal 位置编码追根溯源 介绍的位置编码后，直接加到残差模块上去的
• 训练时的损失函数为
  $${\Vert {\mathbf{x}}_{t-1}-\mathbf{\mu }({\mathbf{x}}_t)\Vert }^2=\frac{{\beta }_t^2}{{\alpha }_t^2}{\Vert {\mathbf{\epsilon }}_t-{\mathbf{ϵ}}_{\mathbf{\theta }}({\mathbf{x}}_t,t)\Vert }^2$$其中 $\frac{{\beta }_t^2}{{\alpha }_t^2}$ 代表 loss 的权重，可以暂时忽略。也就是说，我们只需随机采样一个时间步 $t$ 以及对应的 ${\mathbf{x}}_t$ 和 ${\mathbf{\epsilon }}_t$，就可以计算损失函数，进而优化生成模型
• 正常来说采样 ${\mathbf{x}}_t$ 需要进行 $t$ 步加噪，即采样 $t$ 个噪声，我们可以将 $t$ 步加噪等价地表示为单步加噪的形式：
  $$\begin{array}{rl}{\mathbf{x}}_t& ={\alpha }_t{\mathbf{x}}_{t-1}+{\beta }_t{\mathbf{\epsilon }}_t\\ & ={\alpha }_t\left({\bar{\alpha }}_{t-1}{\mathbf{x}}_0+{\bar{\beta }}_{t-1}{\bar{\mathbf{\epsilon }}}_{t-1}\right)+{\beta }_t{\mathbf{\epsilon }}_t\\ & ={\bar{\alpha }}_t{\mathbf{x}}_0+{\alpha }_t{\bar{\beta }}_{t-1}{\bar{\mathbf{\epsilon }}}_{t-1}+{\beta }_t{\mathbf{\epsilon }}_t\end{array}$$注意到，这里不直接写为 ${\mathbf{x}}_t={\bar{\alpha }}_t{\mathbf{x}}_0+{\bar{\beta }}_t{\bar{\mathbf{\epsilon }}}_t$ 是因为我们已经事先采样了 ${\mathbf{\epsilon }}_t$，而 ${\mathbf{\epsilon }}_t$ 跟 ${\bar{\mathbf{\epsilon }}}_t$ 不是相互独立的，所以给定 ${\mathbf{\epsilon }}_t$ 的情况下，我们不能完全独立地采样 ${\bar{\mathbf{\epsilon }}}_t$.
• 由此得到如下的损失函数
  $${\Vert {\mathbf{\epsilon }}_t-{\mathbf{ϵ}}_{\mathbf{\theta }}({\bar{\alpha }}_t{\mathbf{x}}_0+{\alpha }_t{\bar{\beta }}_{t-1}{\bar{\mathbf{\epsilon }}}_{t-1}+{\beta }_t{\mathbf{\epsilon }}_t,t)\Vert }^2$$在计算上述损失函数时，我们需要采样 4 个随机变量：
  • (1) 从所有训练样本中采样一个 ${\mathbf{x}}_0$
  • (2) (3) 从正态分布 $\mathcal{N}(0,\mathbf{I})$ 中采样 ${\bar{\mathbf{\epsilon }}}_{t-1},{\mathbf{\epsilon }}_t$
  • (4) 从 $1\sim T$ 中采样一个 $t$

降低方差

• 理论上，现在利用上述损失函数就能完成 DDPM 的训练，但它在实践中可能有方差过大的风险，从而导致收敛过慢等问题。这是因为计算上述损失函数需要采样 4 个随机变量，要采样的随机变量越多，就越难对损失函数做准确的估计，反过来说就是每次对损失函数进行估计的波动 (方差) 过大了
• 很幸运的是，我们可以通过一个积分技巧来将 ${\bar{\mathbf{\epsilon }}}_{t-1},{\mathbf{\epsilon }}_t$ 合并成单个正态随机变量，从而缓解一下方差大的问题

---

将 ${\bar{\mathbf{\epsilon }}}_{t-1},{\mathbf{\epsilon }}_t$ 合并成单个正态随机变量

• 由于正态分布的叠加性，我们知道
  $$\begin{gathered} {\alpha }_t{\bar{\beta }}_{t-1}{\bar{\mathbf{\epsilon }}}_{t-1}+{\beta }_t{\mathbf{\epsilon }}_t\iff {\bar{\beta }}_t\mathbf{\epsilon }|\mathbf{\epsilon }\sim \mathcal{N}(0,\mathbf{I}) \\ {\beta }_t{\bar{\mathbf{\epsilon }}}_{t-1}-{\alpha }_t{\bar{\beta }}_{t-1}{\mathbf{\epsilon }}_t\iff {\bar{\beta }}_t\mathbf{\omega }|\mathbf{\omega }\sim \mathcal{N}(0,\mathbf{I}) \end{gathered}$$(证明: $({\alpha }_t{\bar{\beta }}_{t-1}{)}^2+{\beta }_t^2={\alpha }_t^2(1-{\bar{\alpha }}_{t-1}^2)+{\beta }_t^2=1-{\bar{\alpha }}_t^2={\bar{\beta }}_t^2$). 此外可以验证 $\mathbb{E}[\mathbf{\epsilon }{\mathbf{\omega }}^{\top }]=0$，所以 $\mathbf{\epsilon },\mathbf{\omega }$ 是两个相互独立的正态随机变量. (证明: $\mathbb{E}[{\bar{\beta }}_t{\bar{\beta }}_t\mathbf{\epsilon }{\mathbf{\omega }}^{\top }]=\mathbb{E}[({\alpha }_t{\bar{\beta }}_{t-1}{\bar{\mathbf{\epsilon }}}_{t-1}+{\beta }_t{\mathbf{\epsilon }}_t)({\beta }_t{\bar{\mathbf{\epsilon }}}_{t-1}-{\alpha }_t{\bar{\beta }}_{t-1}{\mathbf{\epsilon }}_t{)}^{\top }]$ 且 ${\mathbf{\epsilon }}_t$ 和 ${\bar{\mathbf{\epsilon }}}_{t-1}$ 为相互独立的标准正态随机变量)
• 接下来，我们反过来将 ${\mathbf{\epsilon }}_t$ 用 $\mathbf{\epsilon },\mathbf{\omega }$ 重新表示出来
  $$\{\begin{array}{r}{\alpha }_t{\bar{\beta }}_{t-1}{\bar{\mathbf{\epsilon }}}_{t-1}+{\beta }_t{\mathbf{\epsilon }}_t={\bar{\beta }}_t\mathbf{\epsilon }\\ {\beta }_t{\bar{\mathbf{\epsilon }}}_{t-1}-{\alpha }_t{\bar{\beta }}_{t-1}{\mathbf{\epsilon }}_t={\bar{\beta }}_t\mathbf{\omega }\end{array}$$消掉 ${\bar{\mathbf{\epsilon }}}_{t-1}$ 后可得
  $${\mathbf{\epsilon }}_t=\frac{({\beta }_t\mathbf{\epsilon }-{\alpha }_t{\bar{\beta }}_{t-1}\mathbf{\omega }){\bar{\beta }}_t}{{\beta }_t^2+{\alpha }_t^2{\bar{\beta }}_{t-1}^2}=\frac{{\beta }_t\mathbf{\epsilon }-{\alpha }_t{\bar{\beta }}_{t-1}\mathbf{\omega }}{{\bar{\beta }}_t}$$将上式代入损失函数可得
  $$\begin{array}{rl}& {\mathbb{E}}_{{\bar{\mathbf{\epsilon }}}_{t-1},{\mathbf{\epsilon }}_t\sim \mathcal{N}(0,\mathbf{I})}\left[{\Vert {\mathbf{\epsilon }}_t-{\mathbf{ϵ}}_{\mathbf{\theta }}({\bar{\alpha }}_t{\mathbf{x}}_0+{\alpha }_t{\bar{\beta }}_{t-1}{\bar{\mathbf{\epsilon }}}_{t-1}+{\beta }_t{\mathbf{\epsilon }}_t,t)\Vert }^2\right]\\ =& {\mathbb{E}}_{\mathbf{\omega },\mathbf{\epsilon }\sim \mathcal{N}(0,\mathbf{I})}\left[{\Vert \frac{{\beta }_t\mathbf{\epsilon }-{\alpha }_t{\bar{\beta }}_{t-1}\mathbf{\omega }}{{\bar{\beta }}_t}-{\mathbf{ϵ}}_{\mathbf{\theta }}({\bar{\alpha }}_t{\mathbf{x}}_0+{\bar{\beta }}_t\mathbf{\epsilon },t)\Vert }^2\right]\\ =& \frac{{\beta }_t^2}{{\bar{\beta }}_t^2}{\mathbb{E}}_{\mathbf{\omega },\mathbf{\epsilon }\sim \mathcal{N}(0,\mathbf{I})}\left[{\Vert \mathbf{\epsilon }-\frac{{\bar{\beta }}_t}{{\beta }_t}{\mathbf{ϵ}}_{\mathbf{\theta }}({\bar{\alpha }}_t{\mathbf{x}}_0+{\bar{\beta }}_t\mathbf{\epsilon },t)-\frac{{\alpha }_t{\bar{\beta }}_{t-1}\mathbf{\omega }}{{\beta }_t}\Vert }^2\right]\end{array}$$由于 ${\mathbb{E}}_{\mathbf{\omega },\mathbf{\epsilon }\sim \mathcal{N}(0,\mathbf{I})}[{\mathbf{\omega }}^{\top }\mathbf{\omega }]=d$ ($d$ 为噪声维度)，${\mathbb{E}}_{\mathbf{\omega },\mathbf{\epsilon }\sim \mathcal{N}(0,\mathbf{I})}[{\mathbf{\epsilon }}^{\top }\mathbf{\omega }]=0$，${\mathbb{E}}_{\mathbf{\omega },\mathbf{\epsilon }\sim \mathcal{N}(0,\mathbf{I})}[{\mathbf{ϵ}}_{\mathbf{\theta }}^{\top }({\bar{\alpha }}_t{\mathbf{x}}_0+{\bar{\beta }}_t\mathbf{\epsilon },t)\mathbf{\omega }]=0$，因此上述损失函数其实可以写为
  $$\frac{{\beta }_t^2}{{\bar{\beta }}_t^2}{\mathbb{E}}_{\mathbf{\epsilon }\sim \mathcal{N}(0,\mathbf{I})}\left[{\Vert \mathbf{\epsilon }-\frac{{\bar{\beta }}_t}{{\beta }_t}{\mathbf{ϵ}}_{\mathbf{\theta }}({\bar{\alpha }}_t{\mathbf{x}}_0+{\bar{\beta }}_t\mathbf{\epsilon },t)\Vert }^2\right]+\text{常数}$$再次省掉常数和损失函数的权重，我们得到 DDPM 最终所用的损失函数：
  $${\Vert \mathbf{\epsilon }-\frac{{\bar{\beta }}_t}{{\beta }_t}{\mathbf{ϵ}}_{\mathbf{\theta }}({\bar{\alpha }}_t{\mathbf{x}}_0+{\bar{\beta }}_t\mathbf{\epsilon },t)\Vert }^2$$训练时只需采样 $t$, ${\mathbf{x}}_0$, $\mathbf{ϵ}$ 即可 (提示：原论文中的 ${\mathbf{ϵ}}_{\mathbf{\theta }}$ 实际上就是这里的 $\frac{{\bar{\beta }}_t}{{\beta }_t}{\mathbf{ϵ}}_{\mathbf{\theta }}$，所以大家的结果是完全一样的)

递归生成

• 训练完之后，我们就可以从一个随机噪声 ${\mathbf{x}}_T\sim \mathcal{N}(0,\mathbf{I})$ 出发执行 $T$ 步下式来进行生成
  $${\mathbf{x}}_{t-1}=\frac{1}{{\alpha }_t}\left({\mathbf{x}}_t-{\beta }_t{\mathbf{ϵ}}_{\mathbf{\theta }}({\mathbf{x}}_t,t)\right)$$这对应于自回归解码中的 Greedy Search。如果要进行 Random Sample，那么需要补上噪声项：
  $${\mathbf{x}}_{t-1}=\frac{1}{{\alpha }_t}\left({\mathbf{x}}_t-{\beta }_t{\mathbf{ϵ}}_{\mathbf{\theta }}({\mathbf{x}}_t,t)\right)+{\sigma }_t\mathbf{z},\mathbf{z}\sim \mathcal{N}(0,\mathbf{I})$$一般来说，我们可以让 ${\sigma }_t={\beta }_t$，即正向和反向的方差保持同步 (这点在 “Random Sample - 方差选取” 一节中解释)
• 从这个生成过程中，我们也可以感觉到它其实跟 Seq2Seq 的解码过程是一样的，都是串联式的自回归生成，所以生成速度是一个瓶颈，DDPM 设了 $T=1000$，意味着每生成一个图片，需要将 ${\mathbf{ϵ}}_{\mathbf{\theta }}({\mathbf{x}}_t,t)$ 反复执行 1000 次，因此 DDPM 的一大缺点就是采样速度慢，后面有很多工作都致力于提升 DDPM 的采样速度

超参设置

• 在 DDPM 中，$T=1000$，可能比很多读者的想象数值要大，那为什么要设置这么大的 $T$ 呢？
• ${\alpha }_t$ 是一个单调递减的函数
  $${\alpha }_t=\sqrt{1-\frac{0.02t}{T}}$$那为什么要选择单调递减的 ${\alpha }_t$ 呢？

---

• 其实这两个问题有着相近的答案，跟具体的数据背景有关。简单起见，在重构的时候我们用了欧氏距离作为损失函数，而一般我们用 DDPM 做图片生成，以往做过图片生成的读者都知道，欧氏距离并不是图片真实程度的一个好的度量，VAE 用欧氏距离来重构时，往往会得到模糊的结果，除非是输入输出的两张图片非常接近，用欧氏距离才能得到比较清晰的结果 (这是因为同一个噪声可能对应多张图像，如果使用欧氏距离，就会使得噪声生成结果和多张图像都有一点相似，多张图像叠加在一起就会使得生成图像比较模糊)
• 选择尽可能大的 $T$，正是为了使得输入输出尽可能相近，减少欧氏距离带来的模糊问题
• 选择单调递减的 ${\alpha }_t$ 也有类似考虑。当 $t$ 比较小时，${\mathbf{x}}_t$ 还比较接近真实图片，所以我们要缩小 ${\mathbf{x}}_{t-1}$ 与 ${\mathbf{x}}_t$ 的差距，以便更适用欧氏距离，因此要用较大的 ${\alpha }_t$；当 $t$ 比较大时，${\mathbf{x}}_t$ 已经比较接近纯噪声了，噪声用欧式距离无妨，所以可以稍微增大 ${\mathbf{x}}_{t-1}$ 与 ${\mathbf{x}}_t$ 的差距，即可以用较小的 ${\alpha }_t$. 那么可不可以一直用较大的 ${\alpha }_t$ 呢？可以是可以，但是要增大 $T$。这是因为我们想要使得 ${\bar{\alpha }}_T\approx 0$，而我们可以直接估算
  $$\log {\bar{\alpha }}_T=\sum _{t=1}^T\log {\alpha }_t=\frac{1}{2}\sum _{t=1}^T\log \left(1-\frac{0.02t}{T}\right)<\frac{1}{2}\sum _{t=1}^T\left(-\frac{0.02t}{T}\right)=-0.005(T+1)$$代入 $T=1000$ 大致是 ${\bar{\alpha }}_T\approx e^{-5}$，这个其实就刚好达到 $\approx 0$ 的标准。所以如果从头到尾都用较大的 ${\alpha }_t$，那么必然要更大的 $T$ 才能使得 ${\bar{\alpha }}_T\approx 0$ 了

References

• 苏剑林. (Jun. 13, 2022). 《生成扩散模型漫谈（一）：DDPM = 拆楼 + 建楼 》[Blog post]. Retrieved from https://kexue.fm/archives/9119