Denoising Diffusion Probabilistic Models——Background

Denoising Diffusion Probabilistic Models——Background

公式1：

扩散模型公式1详解

定义

扩散模型是一种潜变量模型，其形式为$p_{\theta }({\mathbf{x}}_0):=\int p_{\theta }({\mathbf{x}}_{0:T})d{\mathbf{x}}_{1:T}$，其中${\mathbf{x}}_1,\dots ,{\mathbf{x}}_T$是与数据${\mathbf{x}}_0\sim q({\mathbf{x}}_0)$具有相同维度的潜变量。

逆过程

联合分布$p_{\theta }({\mathbf{x}}_{0:T})$被称为逆过程，定义为一个从$p({\mathbf{x}}_T)=\mathcal{N}({\mathbf{x}}_T;0,\mathbf{I})$开始的马尔可夫链，其中每一步是通过学习到的高斯转移来实现的。

数学表达

$p_{\theta }({\mathbf{x}}_{0:T}):=p({\mathbf{x}}_T){\prod }_{t=1}^T{p}_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)$
$p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t):=\mathcal{N}({\mathbf{x}}_{t-1};{\mu }_{\theta }({\mathbf{x}}_t,t),{\Sigma }_{\theta }({\mathbf{x}}_t,t))$

说明

1. 潜变量：模型通过引入一系列与数据同维度的潜变量来描述数据生成过程。
2. 逆过程：逆过程是一种从噪声（标准正态分布）开始逐步去噪的过程，使用马尔可夫链模型进行转移。
3. 高斯转移：每一步的转移都是高斯分布，其均值和协方差由参数化函数${\mu }_{\theta }$和${\Sigma }_{\theta }$决定。

应用

扩散模型广泛应用于图像生成、自然语言处理等领域，通过反向扩散过程从噪声中生成高质量的数据样本。

公式2：

扩散模型中的前向过程

定义

扩散模型（Diffusion Models）的一个显著特点是它们的近似后验分布$q({\mathbf{x}}_{1:T}|{\mathbf{x}}_0)$（称为前向过程或扩散过程）被固定为一个马尔可夫链，这个链根据方差计划${\beta }_1,\dots ,{\beta }_T$逐渐向数据中添加高斯噪声。

公式表达

$q({\mathbf{x}}_{1:T}|{\mathbf{x}}_0):={\prod }_{t=1}^{T}q({\mathbf{x}}_t|{\mathbf{x}}_{t-1})$
$q({\mathbf{x}}_t|{\mathbf{x}}_{t-1}):=\mathcal{N}({\mathbf{x}}_t;\sqrt{1-{\beta }_t}{\mathbf{x}}_{t-1},{\beta }_t\mathbf{I})$

公式$q({\mathbf{x}}_t|{\mathbf{x}}_{t-1}):=\mathcal{N}({\mathbf{x}}_t;\sqrt{1-{\beta }_t}{\mathbf{x}}_{t-1},{\beta }_t\mathbf{I})$解释

这个公式描述了扩散模型中的前向过程（或扩散过程），用于逐步向数据添加高斯噪声。下面是详细解释：

1. 高斯分布：
   -$\mathcal{N}({\mathbf{x}}_t;\mu ,\Sigma )$表示一个均值为$\mu$，协方差为$\Sigma$的高斯分布。

2. 公式中的各项：
   -${\mathbf{x}}_t$：第$t$时刻的潜变量。
   -${\mathbf{x}}_{t-1}$：第$t-1$时刻的潜变量。
   -$\sqrt{1-{\beta }_t}{\mathbf{x}}_{t-1}$：均值，表示上一时刻的状态经过缩放后作为当前时刻状态的基础。
   -${\beta }_t\mathbf{I}$：协方差矩阵，表示当前时刻添加的噪声的强度，其中$\mathbf{I}$是单位矩阵。

3. 噪声添加：

   • 在每个时间步$t$，状态${\mathbf{x}}_{t-1}$被缩放（通过乘以$\sqrt{1-{\beta }_t}$）后，加上方差为${\beta }_t$的高斯噪声，生成新的状态${\mathbf{x}}_t$。
   • 这意味着每一步都在前一步的基础上添加一定量的噪声，使得数据逐步从原始状态变为完全噪声。

前向过程解释

这个公式定义了前向过程的单步转移概率，它是一个高斯分布：

$q({\mathbf{x}}_t|{\mathbf{x}}_{t-1}):=\mathcal{N}({\mathbf{x}}_t;\sqrt{1-{\beta }_t}{\mathbf{x}}_{t-1},{\beta }_t\mathbf{I})$

• 均值$\sqrt{1-{\beta }_t}{\mathbf{x}}_{t-1}$：

  • 通过缩放${\mathbf{x}}_{t-1}$得到，反映了从上一时刻到当前时刻的状态变化。

• 协方差${\beta }_t\mathbf{I}$：

  • 噪声的强度，随着时间$t$的变化而变化。

解释

1. 近似后验分布$q({\mathbf{x}}_{1:T}|{\mathbf{x}}_0)$：
   • 表示从初始数据${\mathbf{x}}_0$到噪声数据${\mathbf{x}}_T$的转移过程。
2. 马尔可夫链：
   • 该过程由一系列依次相连的高斯分布组成，每一步都根据上一状态生成下一状态。
3. 高斯噪声添加：
   • 在每一步中，根据方差${\beta }_t$添加噪声，使得数据逐步被扰乱。

特点

扩散过程的设计使得模型能够逐步将数据转化为噪声，同时在逆向过程中通过去噪逐步生成新的数据样本。通过这种方式，扩散模型能够生成高质量的合成数据。

公式3：

训练过程中的变分下界优化

在扩散模型的训练过程中，通过优化负对数似然（negative log likelihood, NLL）的变分下界来实现模型训练。具体公式如下：

$\mathbb{E}[-\log p_{\theta }({\mathbf{x}}_0)]\le {\mathbb{E}}_q\left[-\log \frac{p_{\theta }({\mathbf{x}}_{0:T})}{q({\mathbf{x}}_{1:T}|{\mathbf{x}}_0)}\right]$

这个公式可以展开为：

${\mathbb{E}}_q\left[-\log p({\mathbf{x}}_T)-{\sum }_{t\ge 1}\log \frac{p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)}{q({\mathbf{x}}_t|{\mathbf{x}}_{t-1})}\right]=:\mathcal{L}$

详细解释

1. 变分下界：

   • 目标是最小化负对数似然的变分下界，以逼近真实的对数似然。

2. 期望：
   -${\mathbb{E}}_q$表示对前向过程$q({\mathbf{x}}_{1:T}|{\mathbf{x}}_0)$的期望。

3. 公式展开：
   -$-\log p({\mathbf{x}}_T)$：表示终止状态的对数概率，通常为标准正态分布的对数概率。
   -${\sum }_{t\ge 1}\log \frac{p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)}{q({\mathbf{x}}_t|{\mathbf{x}}_{t-1})}$：表示每一步中真实后验分布和前向过程的对数概率比值的总和。

损失函数$\mathcal{L}$

这个损失函数$\mathcal{L}$表示了我们需要最小化的目标，以使得模型能够更好地拟合数据。在实际训练中，通过梯度下降方法对参数$\theta$进行优化，以最小化这个损失函数。

公式4：

前向过程和逆向过程的方差

可学习的方差${\beta }_t$

• 前向过程中的方差${\beta }_t$可以通过重参数化技术进行学习，也可以作为超参数保持不变。

逆向过程的高斯条件

• 逆向过程中的高斯条件$p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)$的选择确保了其表达能力，特别是当${\beta }_t$很小时，前向过程和逆向过程具有相同的函数形式。

前向过程的一个显著特性

• 前向过程允许在任意时间步$t$采样${\mathbf{x}}_t$，并且可以通过以下闭式表达式进行计算：

闭式表达式

使用记号${\alpha }_t:=1-{\beta }_t$和${\bar{\alpha }}_t:={\prod }_{s=1}^t{\alpha }_s$，我们有：

$q({\mathbf{x}}_t|{\mathbf{x}}_0)=\mathcal{N}({\mathbf{x}}_t;\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0,(1-{\bar{\alpha }}_t)\mathbf{I})$

详细解释

1. 前向过程的定义：

   • 前向过程将高斯噪声逐步添加到数据中，定义为$q({\mathbf{x}}_t|{\mathbf{x}}_{t-1})=\mathcal{N}({\mathbf{x}}_t;\sqrt{1-{\beta }_t}{\mathbf{x}}_{t-1},{\beta }_t\mathbf{I})$。

2. 重新参数化：

   • 方差${\beta }_t$可以通过重参数化学习，使模型能够自动调整噪声强度。

3. 闭式解的意义：

   • 闭式解允许我们在任意时间步$t$直接从初始数据${\mathbf{x}}_0$生成${\mathbf{x}}_t$，这大大简化了采样过程和计算复杂度。

4. 高斯条件的选择：

   • 逆向过程使用的高斯条件$p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)$确保了当${\beta }_t$很小时，前向和逆向过程的对称性，从而提高了模型的稳定性和表达能力。

总结

前向过程通过逐步添加噪声将数据转换为噪声，而逆向过程则通过去噪将噪声转换回数据。这种对称性和闭式解的存在使得扩散模型在训练和采样时都非常高效。

公式5：

优化扩散模型的训练过程

在扩散模型的训练过程中，通过随机梯度下降法优化损失函数$\mathcal{L}$的随机项可以实现高效训练。进一步的改进可以通过方差减少方法来实现，将损失函数$\mathcal{L}$重新写成以下形式：

变分下界损失函数

$\mathcal{L}={\mathbb{E}}_q\left[D_{KL}(q({\mathbf{x}}_T|{\mathbf{x}}_0)\Vert p({\mathbf{x}}_T))+{\sum }_{t>1}{D}_{KL}(q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)\Vert p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t))-\log p_{\theta }({\mathbf{x}}_0|{\mathbf{x}}_1)\right]$

详细解释

1. KL散度项：
   -$D_{KL}(q({\mathbf{x}}_T|{\mathbf{x}}_0)\Vert p({\mathbf{x}}_T))$：表示终止状态${\mathbf{x}}_T$的真实后验分布和模型预测分布之间的KL散度。
   -${\sum }_{t>1}{D}_{KL}(q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)\Vert p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t))$：表示每一步的真实后验分布和模型预测分布之间的KL散度总和。

2. 对数似然项：
   -$-\log p_{\theta }({\mathbf{x}}_0|{\mathbf{x}}_1)$：表示从第一步预测生成初始数据${\mathbf{x}}_0$的对数似然。

总结

通过优化上述损失函数，可以有效训练扩散模型，使其在逐步去噪的过程中生成高质量的数据样本。方差减少技术有助于提高训练的稳定性和效率。

公式6、7：

优化扩散模型训练的具体方法

在优化过程中，使用KL散度直接比较$p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)$与前向过程的后验分布，后者在条件${\mathbf{x}}_0$下是可处理的：

$q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)=\mathcal{N}({\mathbf{x}}_{t-1};{\tilde{\mu }}_t({\mathbf{x}}_t,{\mathbf{x}}_0),{\tilde{\beta }}_t\mathbf{I})$

公式解释

1. 均值和方差：
   -${\tilde{\mu }}_t({\mathbf{x}}_t,{\mathbf{x}}_0)$和${\tilde{\beta }}_t$的定义：
   ${\tilde{\mu }}_t({\mathbf{x}}_t,{\mathbf{x}}_0):=\frac{\sqrt{{\bar{\alpha }}_{t-1}}{\beta }_t}{1-{\bar{\alpha }}_t}{\mathbf{x}}_0+\frac{\sqrt{{\alpha }_t}(1-{\bar{\alpha }}_{t-1})}{1-{\bar{\alpha }}_t}{\mathbf{x}}_t$
   ${\tilde{\beta }}_t:=\frac{1-{\bar{\alpha }}_{t-1}}{1-{\bar{\alpha }}_t}{\beta }_t$

计算KL散度

由于$q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)$和$p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)$都是高斯分布，因此可以用Rao-Blackwellization方法以闭式表达计算KL散度，而不需要高方差的蒙特卡洛估计。

总结

这种方法使得训练过程中的KL散度计算更加高效和稳定，提高了模型训练的效率和效果。