扩散模型（Diffusion Model）介绍

介绍

示例代码

扩散模型（Diffusion Model）是一类生成模型，其基本思想是通过模拟数据的逐步“扩散”与“去扩散”过程，学习数据分布，从而生成新的样本。扩散模型近年来在图像生成（如Stable Diffusion）等任务中表现出色。

---

一、基本思想

扩散模型包含两个阶段：

1. 前向扩散过程（Forward Diffusion Process）：逐步向原始数据添加高斯噪声，直到最终变为纯噪声。
2. 反向生成过程（Reverse Diffusion Process）：训练一个神经网络学会从噪声一步步“还原”出原始数据。

---

二、前向扩散过程

我们设训练样本为 ${\mathbf{x}}_0\sim q({\mathbf{x}}_0)$，表示从真实数据分布中采样。

目标：将数据 ( x_0 ) 逐步添加高斯噪声，最终转化为纯噪声 ( x_T \sim \mathcal{N}(0, I) )。

数学描述：

1. 马尔科夫链：
   前向扩散过程是一个马尔科夫链，定义如下：
   $$q({\mathbf{x}}_{1:T}|{\mathbf{x}}_0)=\prod _{t=1}^{T}q({\mathbf{x}}_t|{\mathbf{x}}_{t-1})$$

2. 单步扩散：
   每一步的噪声添加服从马尔可夫链，定义条件概率分布：
   $$q(x_t|x_{t-1})=\mathcal{N}\left(x_t;\sqrt{1-{\beta }_t}{x}_{t-1},{\beta }_{t}I\right)$$
   其中 ${\beta }_t\in (0,1)$ 是预设的噪声调度参数，控制噪声添加的速度。${\mathbf{x}}_t$ 是第 $t$ 步的加噪结果。

3. 累积扩散（重参数化技巧）：
   由于该过程是线性高斯，我们可以直接从任意 $x_0$采样到任意$x_t$：
   $$q({\mathbf{x}}_t|{\mathbf{x}}_0)=\mathcal{N}({\mathbf{x}}_t;\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0,(1-{\bar{\alpha }}_t)\mathbf{I})$$
   或者写为
   $$x_t=\sqrt{{\bar{\alpha }}_t}{x}_0+\sqrt{1-{\bar{\alpha }}_t}ϵ,ϵ\sim \mathcal{N}(0,I)$$
   其中：

   • ${\alpha }_t=1-{\beta }_t$
   • ${\bar{\alpha }}_t={\prod }_{s=1}^t{\alpha }_s$，称为累积噪声因子。

这意味着我们可以一次性地从原始样本生成加噪版本 ${\mathbf{x}}_t$，而不需要逐步模拟。

三、反向扩散过程（生成过程）

目标：学习一个神经网络 $p_{\theta }(x_{t-1}|x_t)$，逐步从噪声 $x_T$ 恢复原始数据 $x_0$。

数学描述：

1. 反向分布假设：
   假设反向过程每一步服从高斯分布：
   $$p_{\theta }(x_{t-1}|x_t)=\mathcal{N}\left(x_{t-1};{\mu }_{\theta }(x_t,t),{\Sigma }_{\theta }(x_t,t)\right)$$
   在简化模型（如DDPM）中，通常固定方差 ${\Sigma }_t={\sigma }_t^{2}I$，仅需学习均值 ${\mu }_{\theta }$。

2. 均值参数化：
   通过推导，反向过程的均值可表示为：
   $${\mu }_{\theta }(x_t,t)=\frac{1}{\sqrt{{\alpha }_t}}\left(x_t-\frac{{\beta }_t}{\sqrt{1-{\alpha }_t}}{ϵ}_{\theta }(x_t,t)\right)$$
   其中 ${ϵ}_{\theta }(x_t,t)$ 是神经网络预测的噪声。

---

四、训练目标（变分推理）

我们希望最大化对数似然 $\log p_{\theta }({\mathbf{x}}_0)$。由于这个直接优化很困难，我们采用变分下界（ELBO）方法进行近似。

变分下界公式：

$$\log p_{\theta }({\mathbf{x}}_0)\ge {\mathbb{E}}_q\left[\log \frac{p_{\theta }({\mathbf{x}}_{0:T})}{q({\mathbf{x}}_{1:T}|{\mathbf{x}}_0)}\right]=:{\mathcal{L}}_{\text{ELBO}}$$

展开后，得到：

$${\mathcal{L}}_{\text{ELBO}}={\mathbb{E}}_q\left[\sum _{t=1}^T{D}_{\text{KL}}(q({\mathbf{x}}_t|{\mathbf{x}}_{t-1})\parallel p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t))-\log p_{\theta }({\mathbf{x}}_0|{\mathbf{x}}_1)\right]$$

这个目标由多个 KL 散度项构成，表示真实加噪过程与学习去噪过程之间的距离。

简化损失函数（DDPM 论文中的常用形式）

Ho et al. 在 DDPM（Denoising Diffusion Probabilistic Model）中提出了一种简化的训练目标，神经网络直接预测噪声 $\mathbf{ϵ}$，训练损失为：

$${\mathcal{L}}_{\text{simple}}={\mathbb{E}}_{{\mathbf{x}}_0,ϵ,t}\left[{\Vert ϵ-{ϵ}_{\theta }(x_t,t)\Vert }^2\right]$$

其中：

• $x_t=\sqrt{{\alpha }_t}{x}_0+\sqrt{1-{\alpha }_t}ϵ$
• $ϵ\sim \mathcal{N}(0,\mathbf{I})$
• 神经网络 ${ϵ}_{\theta }({\mathbf{x}}_t,t)$ 学习预测添加到数据上的噪声。

---

五、关键推导步骤

1. 前向过程的累积分布

从 $ x_0 $ 到 $ x_t $ 的累积扩散过程可表示为：
$$q(x_t|x_0)=\mathcal{N}\left(x_t;\sqrt{{\alpha }_t}{x}_0,(1-{\alpha }_t)I\right)$$
推导：
通过递归应用 $x_t=\sqrt{1-{\beta }_t}{x}_{t-1}+\sqrt{{\beta }_t}{ϵ}_{t-1}$，并利用高斯分布的叠加性质，最终得到闭式解。

---

2. 反向过程的KL散度

反向过程的目标是最小化 $\text{KL}(q(x_{t-1}|x_t,x_0)\Vert p_{\theta }(x_{t-1}|x_t))$。
通过分析，$q(x_{t-1}|x_t,x_0)$ 也是一个高斯分布：
$$q(x_{t-1}|x_t,x_0)=\mathcal{N}\left(x_{t-1};\tilde{\mu }(x_t,x_0),{\tilde{\beta }}_{t}I\right)$$
其中：
$$\tilde{\mu }(x_t,x_0)=\frac{\sqrt{{\alpha }_{t-1}}{\beta }_t}{1-{\alpha }_t}{x}_0+\frac{\sqrt{1-{\beta }_t}(1-{\alpha }_{t-1})}{1-{\alpha }_t}{x}_t$$

推导：
利用贝叶斯公式 $q(x_{t-1}|x_t,x_0)\propto q(x_t|x_{t-1})q(x_{t-1}|x_0)$，结合高斯分布的乘积性质，可得均值和方差。

---

3. 损失函数的最终形式

通过代入参数化的均值 $ \mu_\theta $，KL散度的计算可简化为：
$${\mathcal{L}}_t={\mathbb{E}}_{x_0,ϵ}\left[\frac{{\beta }_t^2}{2{\sigma }_t^2{\alpha }_t(1-{\alpha }_t)}\Vert ϵ-{ϵ}_{\theta }(x_t,t){\Vert }^2\right]$$
在DDPM中，进一步忽略权重系数，得到最终的简化损失。

六、采样过程（推理）

从高斯噪声 ${\mathbf{x}}_T\sim \mathcal{N}(0,\mathbf{I})$ 开始，依次应用如下反向过程生成样本：

$${\mathbf{x}}_{t-1}=\frac{1}{\sqrt{{\alpha }_t}}\left({\mathbf{x}}_t-\frac{1-{\alpha }_t}{\sqrt{1-{\bar{\alpha }}_t}}{ϵ}_{\theta }({\mathbf{x}}_t,t)\right)+{\sigma }_t\mathbf{z},\mathbf{z}\sim \mathcal{N}(0,\mathbf{I})$$

其中 ${\sigma }_t$ 控制每步采样的随机性。

---

七、扩展：条件生成 & 加速采样

• 条件生成：如图像到图像、文本到图像生成（如Stable Diffusion），通过引入条件 $\mathbf{y}$，将网络变为 ${ϵ}_{\theta }({\mathbf{x}}_t,t,\mathbf{y})$。
• 加速采样：原始采样需要上百或上千步，后续如 DDIM（Denoising Diffusion Implicit Models）等提出加速采样方法。

---

八、变种与改进

1. DDPM（Denoising Diffusion Probabilistic Model）

• 原始扩散模型，提出于 2020 年；
• 采样慢，需上百步才能生成高质量图像。

2. DDIM（Denoising Diffusion Implicit Model）

• 改为确定性采样方式，加快生成速度，支持少步采样而保持质量。

3. Stable Diffusion

• 结合 CLIP、U-Net、VAE 和 Latent Diffusion 技术；
• 能在潜空间中进行扩散，大幅提升效率与图像质量。

---

九、优点与挑战

优点	缺点
生成质量高（细节丰富）	采样速度慢（需多步去噪）
训练稳定（不易崩溃）	对计算资源要求较高
易于与条件控制结合（如文本）	理论理解相对复杂

---

总结

扩散模型是一种通过建模噪声添加与去除过程来学习数据分布的强大生成模型，具有如下优点：

• 生成质量高；
• 训练稳定；
• 可与其他条件灵活结合。

---

扩展内容 （DDIM）

DDIM（Denoising Diffusion Implicit Models） 是对经典扩散模型（如 DDPM）反向采样过程的一种加速改进方法，由 Jiaming Song et al. 于 2020 年提出。DDIM 允许在较少的时间步中实现高质量采样，采样过程可以是确定性的。

下面我们从 DDPM 出发，推导 DDIM 的核心公式。

---

🧩 一、DDPM 采样回顾

在 DDPM 中，采样过程使用的是如下的反向高斯过程：

$${\mathbf{x}}_{t-1}\sim \mathcal{N}({\mu }_{\theta }({\mathbf{x}}_t,t),{\Sigma }_t)$$

其中，已知：

$${\mathbf{x}}_t=\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0+\sqrt{1-{\bar{\alpha }}_t}\mathbf{ϵ},\mathbf{ϵ}\sim \mathcal{N}(0,\mathbf{I})$$

神经网络模型 ${ϵ}_{\theta }({\mathbf{x}}_t,t)$ 被训练来预测噪声 $\mathbf{ϵ}$。

---

🚀 二、DDIM 推导目标

DDIM 目标是：

• 构造一种确定性采样过程（不需要随机采样）
• 允许在一个任意选定的时间步子集 { t 0 , t 1 , . . . , t N } \{t_0, t_1, ..., t_N\} {t0​,t1​,...,tN​} 上生成数据
• 使用和 DDPM 相同的训练方法（噪声预测 MSE 损失）

---

📐 三、DDIM 的关键公式推导

我们从 ${\mathbf{x}}_t$ 的解析式出发：

$${\mathbf{x}}_t=\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0+\sqrt{1-{\bar{\alpha }}_t}\mathbf{ϵ}$$

若已知模型预测了 ${\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t)$，我们可以从中重建原始图像 ${\mathbf{x}}_0$：

$$\boxed{{\hat{\mathbf{x}}}_0=\frac{1}{\sqrt{{\bar{\alpha }}_t}}\left({\mathbf{x}}_t-\sqrt{1-{\bar{\alpha }}_t}{\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t)\right)}$$

🧠 构造从 ${\mathbf{x}}_t$ 到 ${\mathbf{x}}_{t-1}$ 的公式

DDIM 将从 ${\mathbf{x}}_t$ 到 ${\mathbf{x}}_{t-1}$ 的过程构造为：

$$\boxed{{\mathbf{x}}_{t-1}=\sqrt{{\bar{\alpha }}_{t-1}}{\hat{\mathbf{x}}}_0+\sqrt{1-{\bar{\alpha }}_{t-1}}{\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t)}$$

这个式子是通过重构出的 ${\hat{\mathbf{x}}}_0$ 插回去得到的。

但为了保留一定的随机性，还可以加入一个可控参数 $\eta \in [0,1]$，控制采样的确定性程度，最终采样公式是：

$$\boxed{{\mathbf{x}}_{t-1}=\sqrt{{\bar{\alpha }}_{t-1}}{\hat{\mathbf{x}}}_0+\sqrt{1-{\bar{\alpha }}_{t-1}-{\eta }^2{\sigma }_t^2}{\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t)+\eta {\sigma }_t\mathbf{z}}$$

其中：

• ${\sigma }_t^2=\frac{1-{\bar{\alpha }}_{t-1}}{1-{\bar{\alpha }}_t}{\beta }_t$
• $\mathbf{z}\sim \mathcal{N}(0,\mathbf{I})$

若设 $\eta =0$，该过程完全确定性，即为 DDIM 的核心采样方式。

---

💡 四、DDIM 总结（采样算法）

给定时间步序列 $t_0=T>t_1>\cdots >t_N=0$，设定噪声调度表 ${\bar{\alpha }}_t$，采样过程如下：

1. 采样初始噪声：${\mathbf{x}}_{t_0}\sim \mathcal{N}(0,\mathbf{I})$

2. 对每个时间步 $t_i\to t_{i-1}$，执行：

   • 计算 ${\hat{\mathbf{x}}}_0$
   • 更新 ${\mathbf{x}}_{t_{i-1}}$ 使用 DDIM 公式

---

📌 五、DDPM 与 DDIM 的区别

特性	DDPM	DDIM
采样	随机采样	确定性或可控噪声
速度	慢（需上百步）	快（几十步可生成）
训练	噪声预测 MSE	与 DDPM 相同
参数	需固定调度表	可自定义步数调度