DDPM扩散模型公式推理----扩散和逆扩散过程

DDPM扩散模型公式推理----扩散和逆扩散过程

说明

本文章旨在梳理DDPM这篇论文中的各个公式含义及推导，很多内容从其他博客处摘录，在文后列举。一篇文章发不全，拆开成两篇了。

1.Diffusion model的直观理解

打个比方，就像是给你一块木头，让你把它雕刻成一个佛像，需要栩栩如生。Diffusion model在推理阶段就是在执行逆扩散过程，也就是雕刻佛像的过程。

用数学语言进行描述，生成式模型本质上是从一组概率分布中得到另一组概率分布。如下图所示，左边是一个训练数据集，里面所有的数据都是从某个数据$p_{\text{data }}$中独立同分布取出的随机样本。右边就是其生成式模型（概率分布），在这种概率分布中，找出一个分布$p_{\theta }$使得它离$p_{\text{data }}$的距离最近。接着在$p_{\theta }$上采新的样本，可以获得源源不断的新数据。

Diffusion model由$p_{\text{data }}$得到$p_{\theta }$的过程分为两个阶段：

扩散过程$q$，在$p_{\text{data }}$上不断加噪声，使得他最终变成一个纯噪声分布$\mathcal{N}\left(0,I\right)$

逆扩散过程$p$，将噪声$\mathcal{N}\left(0,I\right)$分布逐步地去噪以映射到$p_{\text{data }}$，有了这样的映射，我们从噪声分布中采样，最终可以得到一张想要的图像，也就是可以做生成了。

而从单个图像样本来看这个过程，扩散过程$q$就是不断往图像上加噪声直到图像变成一个纯噪声，逆扩散过程$p$就是从纯噪声生成一张图像的过程。

2.数学解析Diffusion Model

2.1 Diffusion 前向过程(扩散过程)

给定真实图片样本 $x_0\sim q(x)$，diffusion 前向过程通过 $T$次累计对其添加高斯噪声，得到 $x_1,x_2,\dots ,x_T$，如下图的 $q$过程。每一步的大小是由一系列的高斯分布方差的超参数 { β t ∈ ( 0 , 1 ) } t = 1 T \left\{\beta_{t} \in(0,1)\right\}_{t=1}^{T} {βt​∈(0,1)}t=1T​来控制的。 前向过程由于每个时刻 $t$只与 $t-1$时刻有关，所以也可以看做马尔科夫过程：
$$q\left(x_t\mid x_{t-1}\right)=\mathcal{N}\left(x_t;\sqrt{1-{\beta }_t}{x}_{t-1},{\beta }_t\mathbf{I}\right),q\left(x_{1:T}\mid x_0\right)=\prod _{t=1}^{T}q\left(x_t\mid x_{t-1}\right)$$

• ${\beta }_t$为方差
• $\sqrt{1-{\beta }_t}$为均值，且之后要用到的${\alpha }_t=1-{\beta }_t$，即${\alpha }_t$为均值的平方

这个过程中，随着 $t$的增大，$x_t$越来越接近纯噪声。当 $T\to \infty$，$x_T$是完全的高斯噪声（下面会证明，且与均值系数 $\sqrt{1-{\beta }_t}$的选择有关）。

将其中的第 $t$ 步提取出来解析，$x_t$的分布为$q\left(x_t\mid x_{t-1}\right)=\mathcal{N}\left(x_t;\sqrt{1-{\beta }_t}{x}_{t-1},{\beta }_t\mathbf{I}\right)$，而$x_{t-1}$在该步中为已知，即已经被第$t-1$步求解出来了，所以 $x_{t-1}$ 可以看作常数。所以 $x_t$ 的均值为常数 $\sqrt{1-{\beta }_t}{x}_{t-1}$ ，方差为 ${\beta }_t$

2.1.1 重参数技巧（reparameterization trick）

如果要从高斯分布 $z\sim \mathcal{N}\left(z;{\mu }_{\theta },{\sigma }_{\theta }^2\mathbf{I}\right)$ 采样一个 $z$ ，我们可以写成:
$$z={\mu }_{\theta }+{\sigma }_{\theta }\odot ϵ,ϵ\sim \mathcal{N}(0,\mathbf{I})$$
所以 $q\left(x_t\mid x_{t-1}\right)=\mathcal{N}\left(x_t;\sqrt{1-{\beta }_t}{x}_{t-1},{\beta }_t\mathbf{I}\right)$ 可以写作：
$${\mathbf{x}}_t=\sqrt{{\alpha }_t}{\mathbf{x}}_{t-1}+\sqrt{1-{\alpha }_t}{\mathbf{ϵ}}_{t-1}$$
其中 ${\alpha }_t=1-{\beta }_t$ ，${\mathbf{ϵ}}_{t-1}\sim \mathcal{N}(0,\mathbf{I})$

2.1.2 任意时刻的 $x_t$ 可以由 $x_0$ 和 ${\beta }_t$ 直接表示

在前向过程中，有一个性质非常棒，就是我们其实可以通过 $x_0$ 和 ${\beta }_t$ 直接得到 $x_t$。

$$\begin{array}{rl}{\mathbf{x}}_t& =\sqrt{{\alpha }_t}{\mathbf{x}}_{t-1}+\sqrt{1-{\alpha }_t}{\mathbf{ϵ}}_{t-1}\\ & \\ & =\sqrt{{\alpha }_t}\left(\sqrt{{\alpha }_{t-1}}{\mathbf{x}}_{t-2}+\sqrt{1-{\alpha }_{t-1}}{\mathbf{ϵ}}_{t-2}\right)+\sqrt{1-{\alpha }_t}{\mathbf{ϵ}}_{t-1}\\ & \\ & =\sqrt{{\alpha }_t}\left[\sqrt{{\alpha }_{t-1}}\left(\sqrt{{\alpha }_{t-2}}{\mathbf{x}}_{t-3}+\sqrt{1-{\alpha }_{t-2}}{\mathbf{ϵ}}_{t-3}\right)+\sqrt{1-{\alpha }_{t-1}}{\mathbf{ϵ}}_{t-2}\right]\\ & \\ & +\sqrt{1-{\alpha }_t}{\mathbf{ϵ}}_{t-1}\\ & \\ & =\cdots \\ & \\ & =\sqrt{{\alpha }_t}\sqrt{{\alpha }_{t-1}}\cdots \sqrt{{\alpha }_1}{x}_0+\sqrt{{\alpha }_t}\sqrt{{\alpha }_{t-1}}\cdots \sqrt{{\alpha }_2}\sqrt{1-{\alpha }_1}{\mathbf{ϵ}}_0\\ & \\ & +\sqrt{{\alpha }_t}\sqrt{{\alpha }_{t-1}}\cdots \sqrt{{\alpha }_3}\sqrt{1-{\alpha }_2}{\mathbf{ϵ}}_1+\cdots +\sqrt{{\alpha }_t}\sqrt{1-{\alpha }_{t-1}}{\mathbf{ϵ}}_{t-2}\\ & \\ & +\sqrt{1-{\alpha }_t}{\mathbf{ϵ}}_{t-1}\end{array}$$
其中，${\mathbf{ϵ}}_0\cdots {\mathbf{ϵ}}_{t-1}$ 都为标准正态分布，服从$\mathcal{N}(0,\mathbf{I})$。正态分布有两个性质：

• $c\mathbf{ϵ}$也为正态分布，且$c\mathbf{ϵ}\sim \mathcal{N}(0,{\mathbf{c}}^2\mathbf{I})$，$c$ 为常数
• 可加性，即$\mathcal{N}\left(0,{\sigma }_1^2\mathbf{I}\right)+\mathcal{N}\left(0,{\sigma }_2^2\mathbf{I}\right)\sim \mathcal{N}\left(0,\left({\sigma }_1^2+{\sigma }_2^2\right)\mathbf{I}\right)$

所以上式中，$\sqrt{{\alpha }_t}\sqrt{{\alpha }_{t-1}}\cdots \sqrt{{\alpha }_2}\sqrt{1-{\alpha }_1}{\mathbf{ϵ}}_0$服从正态分布，均值为0，方差为${\alpha }_t{\alpha }_{t-1}\cdots {\alpha }_2(1-{\alpha }_1)$，再由可加性，上式方差为：
$$\begin{gathered} \begin{array}{rl}& {\alpha }_t{\alpha }_{t-1}\cdots {\alpha }_2(1-{\alpha }_1)+{\alpha }_t{\alpha }_{t-1}\cdots {\alpha }_3(1-{\alpha }_2)+\cdots \cdots +{\alpha }_t(1-{\alpha }_{t-1})\\ & \\ & +(1-{\alpha }_t) \\ \\ & ={\alpha }_t\left[{\alpha }_{t-1}\cdots {\alpha }_2(1-{\alpha }_1)+{\alpha }_{t-1}\cdots {\alpha }_3(1-{\alpha }_2)+\cdots \cdots +(1-{\alpha }_{t-1})-1\right]+1\\ & \\ & ={\alpha }_t\left[{\alpha }_{t-1}\cdots {\alpha }_2(1-{\alpha }_1)+{\alpha }_{t-1}\cdots {\alpha }_3(1-{\alpha }_2)+\cdots \cdots +{\alpha }_{t-1}(1-{\alpha }_{t-2})-{\alpha }_{t-1}\right]+1\\ & \\ & ={\alpha }_t{\alpha }_{t-1}\left[{\alpha }_{t-2}\cdots {\alpha }_2(1-{\alpha }_1)+{\alpha }_{t-2}\cdots {\alpha }_3(1-{\alpha }_2)+\cdots \cdots +{\alpha }_{t-2}(1-{\alpha }_{t-3})-{\alpha }_{t-2}\right]+1\\ & \\ & ={\alpha }_t{\alpha }_{t-1}\cdots {\alpha }_3\left[{\alpha }_2\left(1-{\alpha }_1\right)+(1-{\alpha }_2)-1\right]+1\\ & \\ & =1-{\alpha }_t{\alpha }_{t-1}\cdots {\alpha }_3{\alpha }_2{\alpha }_1\\ & \\ & =1-{\bar{\alpha }}_t\end{array} \end{gathered}$$
其中，${\bar{\alpha }}_t={\alpha }_t{\alpha }_{t-1}\cdots {\alpha }_3{\alpha }_2{\alpha }_1$，所以：
$$\begin{array}{rl}{\mathbf{x}}_t& =\sqrt{{\alpha }_t}{\mathbf{x}}_{t-1}+\sqrt{1-{\alpha }_t}{\mathbf{ϵ}}_{t-1}\\ & \\ & =\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0+\sqrt{1-{\bar{\alpha }}_t}\mathbf{ϵ}\end{array}$$

因此任意时刻的 $x_t$ 满足：
$$q\left({\mathbf{x}}_t\mid {\mathbf{x}}_0\right)=\mathcal{N}\left({\mathbf{x}}_t;\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0,\left(1-{\bar{\alpha }}_t\right)\mathbf{I}\right)$$

2.1.3 技巧3: ${\alpha }_t=1-{\beta }_t$

之所以要令${\alpha }_t=1-{\beta }_t$，是因为只有这样才能推导出2.1.2中的结果。在原论文中，$T$ 设为1000，即要进行1000次扩散加噪过程，每次扩散过程的参数关系为：${\beta }_1<{\beta }_2<\dots <{\beta }_T$，且${\beta }_t$ 为 0.0001 到 0.02 线性插值。

所以 $1-{\bar{\alpha }}_t$ 会趋近于1，${\bar{\alpha }}_t$ 趋近于0，即均值趋近于0，方差趋近于1。所以 $q\left({\mathbf{x}}_t\mid {\mathbf{x}}_0\right)$ 趋近于标准正态分布 $\mathcal{N}(0,\mathbf{I})$。

2.2 Diffusion 逆扩散过程

如果我们能够逆转上述过程并从 $q\left(x_{t-1}\mid x_t\right)$ 采样，就可以从高斯噪声 $x_T\sim \mathcal{N}(0,\mathbf{I})$ 还原出原图分布 $x_0\sim q(x)$ 。我们无法简单推断 $q\left(x_{t-1}\mid x_t\right)$ ，所以通过神经网络去预测这样的一个逆向的分布 $p_{\theta }$。

逆扩散过程的数学表达式：
$$\begin{gathered} p_{\theta }\left(X_{0:T}\right)=p\left(x_T\right)\prod _{t=1}^T{p}_{\theta }\left(x_{t-1}\mid x_t\right)m \\ {p}_{\theta }\left(x_{t-1}\mid x_t\right)=\mathcal{N}\left(x_{t-1};{\mu }_{\theta }\left(x_t,t\right),{\Sigma }_{\theta }\left(x_t,t\right)\right) \end{gathered}$$
在论文中，作者把条件概率 $p_{\theta }\left(x_{t-1}\mid x_t\right)$ 的方差直接取 ${\beta }_t$，用神经网络UNet估计均值。

虽然我们无法得到逆转过程的概率分布 $q\left(x_{t-1}\mid x_t\right)$ ，但是已经有了已知的 $x_0$，就可以写出其大致形式：
$$q\left(x_{t-1}\mid x_t\right)=q\left(x_{t-1}\mid x_t,x_0\right)=\mathcal{N}\left(x_{t-1};\tilde{\mu }\left(x_t,x_0\right),{\tilde{\beta }}_t\mathbf{I}\right)$$
由贝叶斯公式：
$$\begin{array}{l}q\left(x_{t-1}\mid x_t,x_0\right)\\ \\ =\frac{q\left(x_t,x_0,x_{t-1}\right)}{q\left(x_t,x_0\right)}\\ \\ =\frac{q\left(x_0\right)q\left(x_{t-1}\mid x_0\right)q\left(x_t\mid x_{t-1},x_0\right)}{q\left(x_0\right)q\left(x_t\mid x_0\right)}\\ \\ =q\left(x_t\mid x_{t-1},x_0\right)\frac{q\left(x_{t-1}\mid x_0\right)}{q\left(x_t\mid x_0\right)}\\ \\ \propto \exp \left(-\frac{1}{2}\left(\frac{{\left(x_t-\sqrt{{\alpha }_t}{x}_{t-1}\right)}^2}{{\beta }_t}+\frac{{\left(x_{t-1}-\sqrt{{\bar{\alpha }}_{t-1}}{x}_0\right)}^2}{1-{\bar{a}}_{t-1}}-\frac{{\left(x_t-\sqrt{{\bar{\alpha }}_t}{x}_0\right)}^2}{1-{\bar{a}}_t}\right)\right)\\ \\ =\exp \left(-\frac{1}{2}(\underset{x_{t-1}\text{ 方差 }}{\underbrace{(\left(\frac{{\alpha }_t}{{\beta }_t}+\frac{1}{1-{\bar{\alpha }}_{t-1}}\right)x_{t-1}^2}}-\underset{x_{t-1}\text{ 均值 }}{\underbrace{\left(\frac{2\sqrt{{\alpha }_t}}{{\beta }_t}{x}_t+\frac{2\sqrt{{\bar{a}}_{t-1}}}{1-{\bar{\alpha }}_{t-1}}{x}_0\right)x_{t-1}}}+\underset{\text{与 }{x}_{t-1}\text{ 无关 }}{\underbrace{C\left(x_t,x_0\right)}})\right).\end{array}$$
一般的高斯概率密度函数的指数部分为 $\exp \left(-\frac{(x-\mu {)}^2}{2{\sigma }^2}\right)=\exp \left(-\frac{1}{2}\left(\frac{1}{{\sigma }^2}{x}^2-\frac{2\mu }{{\sigma }^2}x+\frac{{\mu }^2}{{\sigma }^2}\right)\right)$

因此稍加整理我们可以得到 $q\left(x_{t-1}\mid x_t,x_0\right)$ 的均值和方差为：
$${\tilde{\beta }}_t=1/\left(\frac{{\alpha }_t}{{\beta }_t}+\frac{1}{1-{\bar{\alpha }}_{t-1}}\right)=1/\left(\frac{{\alpha }_t-{\bar{\alpha }}_t+{\beta }_t}{{\beta }_t\left(1-{\bar{\alpha }}_{t-1}\right)}\right)=\frac{1-{\bar{\alpha }}_{t-1}}{1-{\bar{\alpha }}_t}\cdot {\beta }_t$$
$$\begin{array}{rl}{\tilde{\mathbf{\mu }}}_t\left({\mathbf{x}}_t,{\mathbf{x}}_0\right)& =\left(\frac{\sqrt{{\alpha }_t}}{{\beta }_t}{\mathbf{x}}_t+\frac{\sqrt{{\bar{\alpha }}_{t-1}}}{1-{\bar{\alpha }}_{t-1}}{\mathbf{x}}_0\right)/\left(\frac{{\alpha }_t}{{\beta }_t}+\frac{1}{1-{\bar{\alpha }}_{t-1}}\right)\\ & \\ & =\left(\frac{\sqrt{{\alpha }_t}}{{\beta }_t}{\mathbf{x}}_t+\frac{\sqrt{{\bar{\alpha }}_{t-1}}}{1-{\bar{\alpha }}_{t-1}}{\mathbf{x}}_0\right)\frac{1-{\bar{\alpha }}_{t-1}}{1-{\bar{\alpha }}_t}\cdot {\beta }_t\\ & \\ & =\frac{\sqrt{{\alpha }_t}\left(1-{\bar{\alpha }}_{t-1}\right)}{1-{\bar{\alpha }}_t}{\mathbf{x}}_t+\frac{\sqrt{{\bar{\alpha }}_{t-1}}{\beta }_t}{1-{\bar{\alpha }}_t}{\mathbf{x}}_0\end{array}$$

方差 ${\tilde{\beta }}_t$ 的参数都是已知的，拿来直接用。

均值还可以再进一步化简。由2.1.2得到的 $x_0=\frac{1}{\sqrt{{\bar{\alpha }}_i}}\left(x_t-\sqrt{1-{\bar{\alpha }}_t}{ϵ}_t\right)$ 代入均值表达式得：
$${\tilde{\mu }}_t=\frac{1}{\sqrt{{\alpha }_t}}\left(x_t-\frac{1-{\alpha }_t}{\sqrt{1-{\bar{\alpha }}_t}}{\epsilon }_t\right)$$
可以看出，在给定 $x_0$ 的条件下，后验条件高斯分布的的均值只和超参数 $x_t,{ϵ}_t$ 有关，方差只与超参数有关。

所以
$${\tilde{\mu }}_t=\frac{1}{\sqrt{{\alpha }_t}}\left(x_t-\frac{1-{\alpha }_t}{\sqrt{1-{\bar{\alpha }}_t}}{\epsilon }_t\right)$$
$${\tilde{\beta }}_t=\frac{1-{\bar{\alpha }}_{t-1}}{1-{\bar{\alpha }}_t}\cdot {\beta }_t$$
就是逆扩散过程 $q\left(x_{t-1}\mid x_t,x_0\right)$ 的解析形式，也就是相当于逆扩散过程的真实分布。

我们要做的是将分布 $p_{\theta }\left(X_{0:T}\right)$ 无限接近上面的真实分布。

接下来是对损失函数的分析，文章太长发不出去，请移步：DDPM扩散模型公式推理----损失函数