一文读懂扩散模型原理、推断加速和可控生成

在刚刚过去的2022年，扩散模型（Diffusion Models）成为了深度生成模型中新的SOTA。近期，中国人民大学助理教授李崇轩和清华大学博士生鲍凡在由智源社区主办的“2022大模型创新论坛·峰会-模型技术分论坛”上分享了题为「扩散概率模型：原理、加速推断与可控生成」的报告，介绍了目前大火的扩散模型的基本原理。重点针对扩散模型领域的两大重点问题——「推断加速」、「可控生成」展开了讨论。同时，李崇轩和鲍凡也是ICLR2022杰出论文《Analytic-DPM: an Analytic Estimate of the Optimal Reverse Variance in Diffusion Probabilistic Models》的作者。智源社区整理主要技术内容如下：

整理：熊宇轩

扫描下方二维码，和作者一同交流「扩散模型」相关话题，或可添加小助手baai2020微信号，备注「扩散模型」进群交流

---

扩散模型是一类生成模型。给定一组分布未知的数据，生成模型旨在刻画出其底层的数据分布。具体而言，我们设置参数化的模型，并最小化真实数据与生成数据分布之间的散度估计模型参数，近似未知的数据分布。在物理学领域中，扩散过程会将结构逐渐破坏。例如，染料逐渐从有序状态变为无序状态。这一过程的逆过程可以被看作对结构的恢复。

在扩散模型中，扩散过程对应于向原始数据分布添加马尔科夫高斯噪声，而恢复结构的过程则对应于从高斯先验出发，学习去躁/生成数据，从而对数据分布建模。

目前，扩散模型已经被广泛应用于“图文生成”、“视频生成”、“3D场景生成”、“分子结构生成”等技术，服务于“AI绘画”、“封面制作”、“AI制药”等业务场景。

“

扩散模型：基本原理

Sohl-Dickstein 等人在 ICML 2015 上首次提出了扩散概率模型。扩散概率模型的前馈扩散过程是一个采用高斯核的马尔科夫链，包含超过 1000 个状态。每一步的状态转移方程是一个线性的高斯函数，其中为高斯噪声方差的大小。当加入噪声的步骤累计足够多时，修改后的数据可以被视为标准的高斯噪声。

我们希望通过模型近似扩散过程的逆过程，实现去躁的效果。由扩散模型的数学性质可知，当每一步加入的噪声足够小时，前向加噪和反向去躁过程具有相同的概率分布形式。

因此，我们仍然将反向扩散过程建模为采用高斯核的马尔科夫链，高斯函数的均值和协方差通过以时间为条件的神经网络被参数化。网络的输入为当前的状态和时间节点 t，第 t 时刻的状态通过共享参数的若干卷积层提取特征，基于该特征用两个不同的预测分支分别输出高斯函数的均值和方差。

原始的扩散模型采用极大似然估计作为目标函数来训练，由于无法直接计算边缘概率，这里我们采用变分的证据下界 ELBO。其中变分后验对应于扩散模型的前向加噪过程，生成模型对应于逆向的马尔科夫链。值得一提的是，变分自编码器（VAE）中的变分后验是可学习的，而扩散模型中的变分后验是固定的前向过程。因此，可以将扩散概率模型看做具有固定变分后验的层次化隐变量模型。

ELBO 可以被分解为如上图所示的形式，包含 T 个 KL 散度之和。然而，直接对其进行每一次更新的时间复杂度为 O(T)。为了降低计算开销，我们将 KL 散度之和视为期望，并每次随机选择其中的一项进行优化，从而将时间复杂度降低为 O(1)。KL 散度中的 p 和 q 两项都是高斯分布，可以将 q 改写为如上图中绿色部分的封闭形式，采用回归目标函数学习。原始的扩散概率模型的生成效果并不理想，对轮廓、细节、结构的建模有待提高。

“

DDPM：去躁扩散概率模型

在 NeurIPS 2021 上，Jonathon 等人发表了论文《Denoising diffusion probablistic models》。对扩散概率模型进行了如下改进，大大提升了模型的生成效果：使用固定的方差归回均值；用和噪声表示，通过均值预测网络重参数化，将关于均值的差改写为噪声预测网络与噪声的差，将目标函数改写为噪声预测的形式；对高斯噪声进行回归预测。值得一提的是，噪声预测的目标函数与去躁得分匹配（DSM）技术具有等价关系。

除此之外，DDPM 对扩散模型的架构也进行了相应改进。DDPM 采用了 U-net 形式的架构，引入了跳跃链接，将底层特征用于较深的层，更加适用于像素级别的预测任务，大大提升了模型性能。

此后，Song 等人在 ICLR 2021 上将扩散模型的前向扩散过程从离散时间拓展为连续时间。具体而言，他将前向过程重参数化为