深度学习（生成式模型）——DDPM：denoising diffusion probabilistic models

前言

本文将总结扩散模型DDPM的原理，首先介绍DDPM的基本流程，接着展开介绍流程里的细节，最后针对DDPM的优化函数进行推导，以让读者明白DDPM参数估计的原理。

本文不会对扩散模型的motivation进行讲解，作者有点鬼才，完全想不到他是怎么想出这种训练范式的

生成式模型的代表作为GAN，然而，GAN的训练十分困难，对抗训练稍有不慎便会陷入模式坍塌(model collapse)。在此背景下产生了Diffusion Model，其具备训练简单，生成图像多样化的特点，DDPM便是其中的代表作。

以下推导如有错误，欢迎指出

DDPM的基本流程

DDPM分为前向过程与逆向过程。

前向过程

前向过程发生在训练时：

• 从均匀分布Uniform(1,2,3…,T)中采样一个样本$t$。
• 对一张图像$x_0$添加$t$次从标准正态分布$\mathcal{N}(0,\mathcal{I})$中采样到的高斯噪声（${ϵ}_1$、${ϵ}_2$、…、${ϵ}_t$），得到噪声图像$x_t$。
• $x_t$输入到U-Net结构的网络，网络的输出将拟合添加到$x_0$中的噪声$ϵ$。

在DDPM中，神经网络扮演的角色为预测添加到图像$x_0$中的噪声（其实本质是预测马尔科夫状态链中$q(x_{t-1}|x_t)$的均值）。当$t$足够大时，即$t=T$时，$x_T$为将服从标准正态分布。

反向过程

反向过程发生在推断时：

• 从标准正态分布$\mathcal{N}(0,\mathcal{I})$中采样一个"噪声图像"$x_T$。
• 将$x_T$输入到U-Net结构的网络中，网络输出高斯噪声${ϵ}_T$。
• 从标准正态分布$\mathcal{N}(0,\mathcal{I})$中采样得到$z$
• 利用噪声图像$x_T$ 、${ϵ}_T$、$z$，依据重参数化公式得到（采样）图像$x_{T-1}$，重参数化公式可看下一章节中的Sampling。
• 重复上述过程$T$次，即可生成图像$x_0$。

DDPM训练与测试伪代码

上图中的${ϵ}_{\theta }$即神经网络。

从前向过程和反向过程可以看出DDPM的训练和推断过程都需要耗费大量的计算资源。后续的DDIM有效降低了推断过程所需的计算资源，而stable diffsuion 则同时降低了训练和推断过程中所需的计算资源。后续的博客将对两者进行总结

后续内容将延续上述符号定义

在详细介绍前向过程和反向过程前，我们需要知道DDPM将图像生成看成一种马尔科夫链，即$x_t$的生成仅依赖于$x_{t-1}$或$x_{t+1}$，则前向过程（虚线）和反向过（实线）程可以表示为下图

为了书写方便，除非特殊提及，在以下的所有推导中，所有的$x$、$ϵ$符号都表示随机变量，而不是一个样本。

前向过程详解

依据马尔科夫链的特性，在前向过程中，定义$x_t$可从$x_{t-1}$中按下式得到：
$$x_t=\sqrt{1-{\beta }_t}{x}_{t-1}+\sqrt{{\beta }_t}{ϵ}_t\text{\hspace{1em}(1.0)}$$
${\beta }_t$是一个人为设定的常数，取值为(0,1)。其满足以下特性
$${\beta }_1<{\beta }_2<...<{\beta }_T$$

从式1.0可知$x_t$的生成仅仅依赖$x_{t-1}$，与$x_0$无关，因此有$$x_t\sim q(x_t|x_{t-1})=\mathcal{N}(x_t;\sqrt{1-{\beta }_t}{x}_{t-1},{\beta }_t\mathcal{I})\text{\hspace{1em}(1.1)}$$

利用重参数化的技巧，从式1.0中的形式可以得出式1.1。

重参数化：$X\sim \mathcal{N}(0,\mathcal{I})$，则$\mu +\delta X\sim N(\mu ,{\delta }^2)$

前向过程需要对式1.0重复t次，非常耗时，能否仅采样一次，就得到状态t时刻的样本呢？

为了实现上述想法，我们需要得到分布$q(x_t|x_0)$的具体形式，

为了后续推导出的式子更加简洁，设
$$\begin{array}{rl}{\alpha }_t& =1-{\beta }_t\\ {\bar{\alpha }}_t& ={\alpha }_t{\alpha }_{t-1}...{\alpha }_0\end{array}$$对式1.0进行展开可得
$$\begin{array}{rl}{x}_t& =\sqrt{1-{\beta }_t}{x}_{t-1}+\sqrt{{\beta }_t}{ϵ}_t\\ & =\sqrt{1-{\beta }_t}(\sqrt{1-{\beta }_{t-1}}{x}_{t-2}+\sqrt{{\beta }_{t-1}}{ϵ}_{t-1})+\sqrt{{\beta }_t}{ϵ}_t\\ & =\sqrt{{\alpha }_t}(\sqrt{{\alpha }_{t-1}}{x}_{t-2}+\sqrt{1-{\alpha }_{t-1}}{ϵ}_{t-1})+\sqrt{1-{\alpha }_t}{ϵ}_t\\ & =\sqrt{{\alpha }_t{\alpha }_{t-1}}{x}_{t-2}+\sqrt{{\alpha }_t(1-{\alpha }_{t-1})}{ϵ}_{t-1}+\sqrt{1-{\alpha }_t}{ϵ}_t\\ & =\sqrt{{\alpha }_t{\alpha }_{t-1}}{x}_{t-2}+\sqrt{1-{\alpha }_t{\alpha }_{t-1}}{ϵ}_t\\ & =\sqrt{{\bar{\alpha }}_t}{x}_0+\sqrt{1-{\bar{\alpha }}_t}{ϵ}_t\end{array}\text{\hspace{1em}(1.2)}$$
上述等式的倒数第二行推导逻辑如下，已知${ϵ}_t$、${ϵ}_{t-1}$服从标准正态分布，依据重参数化可知：
$$\begin{array}{rl}\sqrt{{\alpha }_t(1-{\alpha }_{t-1})}{ϵ}_{t-1}& \sim \mathcal{N}(0,{\alpha }_t(1-{\alpha }_{t-1}))\\ \sqrt{1-{\alpha }_t}{ϵ}_t& \sim \mathcal{N}(0,1-{\alpha }_t)\end{array}$$

两个均值为0的高斯分布相加具备以下性质

$$\mathcal{N}(0,{\delta }_1^2)+\mathcal{N}(0,{\delta }_2^2)=\mathcal{N}(0,{\delta }_1^2+{\delta }_2^2)$$

则有
$$\sqrt{{\alpha }_t(1-{\alpha }_{t-1})}{ϵ}_{t-1}+\sqrt{1-{\alpha }_t}{ϵ}_t\sim \mathcal{N}(0,1-{\alpha }_t)+\mathcal{N}(0,{\alpha }_t(1-{\alpha }_{t-1}))=\mathcal{N}(0,1-{\alpha }_t{\alpha }_{t-1})$$
因此我们可以利用分布$\mathcal{N}(0,1-{\alpha }_t{\alpha }_{t-1})$中的随机变量来替代$\sqrt{{\alpha }_t(1-{\alpha }_{t-1})}{ϵ}_{t-1}+\sqrt{1-{\alpha }_t}{ϵ}_t$，利用重参数化技巧推出式1.3
$$q(x_t|x_0)=\mathcal{N}(x_t;\sqrt{{\bar{\alpha }}_t}{x}_0,(1-{\bar{\alpha }}_t)\mathcal{I})\text{\hspace{1em}(1.3)}$$

利用式1.2，我们可以仅通过一次采样就能获得状态$t$时刻的样本。

反向过程详解

依据马尔科夫链的性质，我们需要得到分布$q(x_{t-1}|x_t)$的具体形式，进而通过重参数化技巧进行采样。对其展开可得
$$\begin{array}{rl}q(x_{t-1}|x_t)& =\frac{q(x_{t-1}{x}_t)}{q(x_t)}\\ & =\frac{q(x_t|x_{t-1})q(x_{t-1})}{q(x_t)}\end{array}$$

我们无法知晓$q(x_{t-1})$、$q(x_t)$的具体分布形式，因此$q(x_{t-1}|x_{x_t})$是intractable的。作者在此用了一个trick，在反向过程的马尔可夫链中，随机变量$x_{t-1}$仅仅依赖于$x_t$，不依赖于$x_0$，利用这个特性，我们有
$$\begin{array}{rl}q(x_{t-1}|x_t)& =q(x_{t-1}|x_t,x_0)\\ & =\frac{q(x_{t-1},x_t,x_0)}{q(x_t,x_0)}\\ & =\frac{q(x_t|x_{t-1},x_0)q(x_{t-1},x_0)}{q(x_t|x_0)q(x_0)}\\ & =\frac{q(x_t|x_{t-1},x_0)q(x_{t-1}|x_0)q(x_0)}{q(x_t|x_0)q(x_0)}\\ & =\frac{q(x_t|x_{t-1},x_0)q(x_{t-1}|x_0)}{q(x_t|x_0)}\\ & =\frac{q(x_t|x_{t-1})q(x_{t-1}|x_0)}{q(x_t|x_0)}\end{array}\text{\hspace{1em}(2.0)}$$

结合式1.1、1.3，利用高斯分布的具体表达式，对式2.0（忽略高斯分布的系数）进行进一步推导有

$$\begin{array}{rl}q(x_{t-1}|x_t)& =\exp (-\frac{1}{2}(\frac{(x_t-\sqrt{{\alpha }_t}{x}_{t-1}{)}^2}{{\beta }_t}+\frac{(x_{t-1}-\sqrt{{\bar{\alpha }}_{t-1}}{x}_0{)}^2}{1-{\bar{\alpha }}_{t-1}}-\frac{(x_t-\sqrt{{\bar{\alpha }}_t}{x}_0{)}^2}{1-{\bar{\alpha }}_t}))\\ & =\exp (-\frac{1}{2}(\frac{x_t^2-2\sqrt{{\alpha }_t}{x}_t{x}_{t-1}+{\alpha }_t{x}_{t-1}^2}{{\beta }_t}+\frac{x_{t-1}^2-2\sqrt{{\bar{\alpha }}_{t-1}}{x}_0{x}_{t-1}+{\bar{\alpha }}_{t-1}{x}_0^2}{1-{\bar{\alpha }}_{t-1}}-\frac{(x_t-\sqrt{{\bar{\alpha }}_t}{x}_0{)}^2}{1-{\bar{\alpha }}_t}))\\ & =\exp (-\frac{1}{2}((\frac{{\alpha }_t}{{\beta }_t}+\frac{1}{1-{\alpha }_{t-1}})x_{t-1}^2-(\frac{2\sqrt{{\alpha }_t}}{{\beta }_t}{x}_t+\frac{2\sqrt{{\bar{\alpha }}_{t-1}}}{1-{\bar{\alpha }}_{t-1}}{x}_0)x_{t-1}+C(x_t,x_0)))\end{array}\text{\hspace{1em}(2.1)}$$

等式的最后一列就是合并同类项，不包含$x_{t-1}$的项都合并到了$C(x_t,x_0)$中，我们对高斯分布的展开形式做个回顾：

$$\begin{array}{rl}\mathcal{N}(\mu ,{\delta }^2)& =\frac{1}{\sqrt{2\pi }\delta }\exp (-\frac{(x-\mu {)}^2}{2{\delta }^2})\\ & =\frac{1}{\sqrt{2\pi }\delta }\exp (-(\frac{1}{2{\delta }^2}{x}^2-\frac{\mu }{{\delta }^2}x+\frac{{\mu }^2}{{\delta }^2}))\end{array}$$

依据上述展开，以及${\bar{\alpha }}_t={\alpha }_t{\alpha }_{t-1}...{\alpha }_0$、${\alpha }_t=1-{\beta }_t$，$x_t=\sqrt{{\bar{\alpha }}_t}{x}_0+\sqrt{1-{\bar{\alpha }}_t}{ϵ}_t$，我们对式2.1进行补齐缺失项后可得$q(x_{t-1}|x_t)$的均值${\mu }_t$和方差${\delta }_t$为
$$\begin{array}{rl}{\delta }_t& =\frac{1}{\frac{{\alpha }_t}{{\beta }_t}+\frac{1}{1-{\alpha }_{t-1}}}=\frac{1}{\frac{{\alpha }_t-{\bar{\alpha }}_t+{\beta }_t}{{\beta }_t(1-{\bar{\alpha }}_{t-1})}}=\frac{1-{\bar{\alpha }}_{t-1}}{1-{\bar{\alpha }}_t}{\beta }_t\\ {\mu }_t& =(\frac{2\sqrt{{\alpha }_t}}{{\beta }_t}{x}_t+\frac{2\sqrt{{\bar{\alpha }}_{t-1}}}{1-{\bar{\alpha }}_{t-1}}{x}_0)/(\frac{{\alpha }_t}{{\beta }_t}+\frac{1}{1-{\alpha }_{t-1}})\\ & =(\frac{2\sqrt{{\alpha }_t}}{{\beta }_t}{x}_t+\frac{2\sqrt{{\bar{\alpha }}_{t-1}}}{1-{\bar{\alpha }}_{t-1}}{x}_0)\frac{1-{\bar{\alpha }}_{t-1}}{1-{\bar{\alpha }}_t}{\beta }_t\\ & =\frac{\sqrt{{\alpha }_t}(1-{\bar{\alpha }}_{t-1})}{1-{\bar{\alpha }}_t}{x}_t+\frac{\sqrt{{\bar{\alpha }}_{t-1}}{\beta }_t}{1-{\bar{\alpha }}_t}{x}_0\\ & =\frac{\sqrt{{\alpha }_t}(1-{\bar{\alpha }}_{t-1})}{1-{\bar{\alpha }}_t}{x}_t+\frac{\sqrt{{\bar{\alpha }}_{t-1}}{\beta }_t}{1-{\bar{\alpha }}_t}(\frac{x_t-\sqrt{1-{\bar{\alpha }}_t}{ϵ}_t}{\sqrt{{\bar{\alpha }}_t}})\\ & =\frac{1}{\sqrt{{\alpha }_t}}(x_t-\frac{1-{\alpha }_t}{\sqrt{1-{\bar{\alpha }}_t}}{ϵ}_t)\end{array}\text{\hspace{1em}(2.2)}$$
上式中的${ϵ}_t$可以由神经网络预测得到（可回顾“DDPM基本流程章节”）。依据式2.2，利用重参数化从样本$x_t$得到样本$x_{t-1}$的流程为

• 从$\mathcal{N}(0,\mathcal{I})$采样得到$z$
• 将$x_t$输入到网络中，由网络预测${ϵ}_t$
• $x_{t-1}$=$\frac{1}{\sqrt{{\alpha }_t}}(x_t-\frac{1-{\alpha }_t}{\sqrt{1-{\bar{\alpha }}_t}}{ϵ}_t)+{\delta }_{t}z$

DDPM损失函数推导

至此，我们已经对前向过程与反向过程进行了详细的介绍，也知晓神经网络在DDPM中扮演的角色为预测最后一次添加到图像中的噪声，自然也能推断出DDPM的损失函数类似于MSE。在本章节中，博主将推导DDPM的损失函数。

深度学习领域的许多模型都通过极大化对数似然来进行参数估计，设网络为$p_{\theta }(x_0)$，则对数似然为$\log p_{\theta }(x_0)$，最大化对数似然等价于最小化$-\log p_{\theta }(x_0)$，DDPM通过优化其上界进行参数估计。已知KL散度取值大于等于0，则其上界为（$q(x_{1:T}|x_0)$表示真实的数据分布）

$$\begin{array}{rl}-\log p_{\theta }(x_0)& \le -\log p_{\theta }(x_0)+D_{KL}(q(x_{1:T}|x_0)||p_{\theta }(x_{1:T}|x_0))\\ & =-\log p_{\theta }(x_0)+E_{q(x_{1:T}|x_0)}[\log \frac{q(x_{1:T}|x_0)}{p_{\theta }(x_{0:T})/p_{\theta }(x_0)}]\\ & =-\log p_{\theta }(x_0)+E_{q(x_{1:T}|x_0)}[\log \frac{q(x_{1:T}|x_0)}{p_{\theta }(x_{0:T})}+\log p_{\theta }(x_0)]\\ & =-\log p_{\theta }(x_0)+E_{q(x_{1:T}|x_0)}[\log \frac{q(x_{1:T}|x_0)}{p_{\theta }(x_{0:T})}]+E_{q(x_{1:T}|x_0)}[\log p_{\theta }(x_0)]\\ & =-\log p_{\theta }(x_0)+E_{q(x_{1:T}|x_0)}[\log \frac{q(x_{1:T}|x_0)}{p_{\theta }(x_{0:T})}]+\log p_{\theta }(x_0)\\ & =E_{q(x_{1:T}|x_0)}[\log \frac{q(x_{1:T}|x_0)}{p_{\theta }(x_{0:T})}]\end{array}$$
对其展开则有
$$\begin{array}{rl}L& =E_{q(x_{1:T}|x_0)}[\log \frac{q(x_{1:T}|x_0)}{p_{\theta }(x_{0:T})}]\\ & =E_q[\frac{{\prod }_{t=1}^{T}q(x_t|x_{t-1})}{p_{\theta }(x_T){\prod }_{t=1}^T{p}_{\theta }(x_{t-1}|x_t)}]\\ & =E_q[-\log p_{\theta }(x_T)+\sum _{t=1}^T\log \frac{q(x_t|x_{t-1})}{p_{\theta }(x_{t-1}|x_t)}]\\ & =E_q[-\log p_{\theta }(x_T)+\sum _{t=2}^T\log \frac{q(x_t|x_{t-1})}{p_{\theta }(x_{t-1}|x_t)}+\log \frac{q(x_1|x_0)}{p_{\theta }(x_0|x_1)}]\\ & =E_q[-\log p_{\theta }(x_T)+\sum _{t=2}^T\log (\frac{q(x_t|x_{t-1},x_0)}{p_{\theta }(x_{t-1}|x_t)}.\frac{q(x_t|x_0)}{q(x_{t-1}|x_0)})+\log \frac{q(x_1|x_0)}{p_{\theta }(x_0|x_1)}]\\ & =E_q[-\log p_{\theta }(x_T)+\sum _{t=2}^T\log \frac{q(x_t|x_{t-1},x_0)}{p_{\theta }(x_{t-1}|x_t)}+\sum _{t=2}^T\log \frac{q(x_t|x_0)}{q(x_{t-1}|x_0)}+\log \frac{q(x_1|x_0)}{p_{\theta }(x_0|x_1)}]\\ & =E_q[-\log p_{\theta }(x_T)+\sum _{t=2}^T\log \frac{q(x_t|x_{t-1},x_0)}{p_{\theta }(x_{t-1}|x_t)}+\log \frac{q(x_T|x_0)}{q(x_1|x_0)}+\log \frac{q(x_1|x_0)}{p_{\theta }(x_0|x_1)}]\\ & =E_q[-\log p_{\theta }(x_T)+\sum _{t=2}^T\log \frac{q(x_t|x_{t-1},x_0)}{p_{\theta }(x_{t-1}|x_t)}+\log \frac{q(x_T|x_0)}{p_{\theta }(x_0|x_1))}]\\ & =E_q[\log \frac{q(x_T|x_0)}{p_{\theta }(x_T)}+\sum _{t=2}^T\log \frac{q(x_t|x_{t-1},x_0)}{p_{\theta }(x_{t-1}|x_t)}-\log p_{\theta }(x_0|x_1))]\\ & =E_q[\frac{D_{KL}(q(x_T|x_0)||p_{\theta }(x_T))}{q(x_T|x_0)}+\sum _{t=2}^T\frac{D_{KL}(q(x_{t-1}|x_t,x_0)||p_{\theta }(x_{t-1}|x_t))}{q(x_{t-1}|x_t,x_0)}-\log p_{\theta }(x_0|x_1))]\end{array}$$

因此需要优化的项有三个
$$\begin{array}{rl}{L}_0& =D_{KL}(q(x_T|x_0)||p_{\theta }(x_T))\\ L_1& =\sum _{t=2}^T{D}_{KL}(q(x_{t-1}|x_t,x_0)||p_{\theta }(x_{t-1}|x_t))\\ L_2& =\log p_{\theta }(x_0|x_1)\end{array}$$

对于$L_0$项，经过$T$次（$T$一般很大）加噪后，$q(x_T|x_0)$与$p_{\theta }(x_T)$基本等价于标准正态分布，因此$L_0$项取值接近于0。

对于$L_2$，感兴趣的可以浏览原文的3.3章节(具体实现见链接)，最终作者发现优化$L_1$项，模型的效果最佳，因此本章节只对$L_1$进行推导。已知高斯分布$\mathcal{N}(x;{\mu }_1,{\sum }_1)$、$\mathcal{N}(x;{\mu }_2,{\sum }_2)$的KL散度公式为（具体推导可浏览生成模型VAE）：

假设$p_{\theta }(x_{t-1}|x_t)$服从$\mathcal{N}(x;{\mu }_{\theta },{\delta }_{t}I)$，已知$q(x_{t-1}|x_t,x_0)$服从$\mathcal{N}(x;{\mu }_t,{\delta }_{t}I)$（均值和方差的式子见式2.2），则有
$$\begin{array}{rl}{L}_2& =\sum _{t=2}^T{D}_{KL}(q(x_{t-1}|x_t,x_0)||p_{\theta }(x_{t-1}|x_t))\\ & =\sum _{t=2}^T(\frac{1}{2}(n+\frac{1}{{\delta }_t^2}||{\mu }_t-{\mu }_{\theta }|{|}^2-n+log1)\\ & =\sum _{t=2}^T(\frac{1}{2{\delta }_t^2}||{\mu }_t-{\mu }_{\theta }|{|}^2)\end{array}$$
则${\mu }_{\theta }$需要拟合${\mu }_t$，结合式2.2，${\mu }_{\theta }=\frac{1}{\sqrt{{\alpha }_t}}(x_t-\frac{1-{\alpha }_t}{\sqrt{1-{\bar{\alpha }}_t}}{ϵ}_{\theta }(x_t))$，可得
$$L_2=\sum _{t=2}^T(\frac{(1-{\alpha }_t{)}^2}{2{\delta }_t^2{\alpha }_t(1-{\bar{\alpha }}_t)}||{ϵ}_t-{ϵ}_{\theta }(x_t)|{|}^2)$$

结合式子1.2以及坐标下降法，可得DDPM最终优化目标$L$为
$$L=||{ϵ}_t-{ϵ}_{\theta }(\sqrt{{\bar{\alpha }}_t}{x}_0+\sqrt{1-{\bar{\alpha }}_t}{ϵ}_t)|{|}^2$$

结语

DDPM利用马尔科夫链建模图像生成的过程很巧妙，最终推导得到的式子也十分简单，确实是个很漂亮的工作