【扩散模型系列学习】Diffusion Model

Denoising Diffusion Probabilistic Models

生成模型简介

生成式模型：

• 生成是“言出法随”
• 生成是“涌现” or “幻觉”

定义：

• 一个能随机生成与训练数据一致的模型

问题：

• 如何对训练数据建模？
• 如何采样？

思路：

• 从一个简单分布采样是容易的
• 从简单分布到观测数据分布是可以拟合的

生成模型的解题思路：

• 将观测数据分布映射到简单分布【encoder】
• 从简单分布中映射到观测数据分布【decoder】

Why 高斯？高斯混合模型

一个复杂分布可以用多个高斯分布来表示。假设有K个高斯分布，这K个高斯分布称作混合模型的隐变量。则复杂分布的概览分布是：
$P_{\theta }(x)={\sum }_{i=1}^{K}P(z_i)\ast P_{\theta }(x|z_i)$
这里$P(z_i)$表示第i个高斯分布在观测数据中所占概率。$P_{\theta }(x|z_i)$表示第i个高斯分布的概率分布函数。

实际K取多少？K是超参数吗？
我们得知里$P(z_i)$表示第i个高斯分布在观测数据中所占概率，那么其积分=1，所以用一个连续的标准高斯分布来表示，$P(z)\sim N(0,1)$。
上面离散的即转为连续。
$P_{\theta }(x)=\int P(z)\ast P_{\theta }(x|z)$

如何求$\theta$？
Maximum Likelihood Estimate： ${\theta }^{\ast }=argma{x}_{\theta }{P}_{\theta }(x)$
（详细公式推导略。）

DDPM

Diffusion Model 作为生成模型的一类同样包含encoder和decoder两个阶段。

• 前向扩散过程：
  向观测数据中逐步加入噪声，直到观测数据变成高斯分布。
• 反向生成过程：
  从一个高斯分布中采样，逐步消除噪声，直到变成清晰数据。

（受启发于非平衡热力学。）

前向扩散过程：

1. 如何加噪声？
   $x_t=\sqrt{1-{\beta }_t}\ast x_{t-1}+\sqrt{{\beta }_t}\ast {ϵ}_{t-1}$
2. 加了多少次噪声？
   在DDPM中一共加了1000次噪声。

重参数采样：

若y是一个高斯分布 $y\sim N(\mu ,{\sigma }^2)$

• 则 $\frac{y-\mu }{\sigma }\sim N(0,1)$

设$ϵ$是一个标准高斯分布

• 则 $y=\sigma \ast ϵ+\mu \sim N(\mu ,{\sigma }^2)$

所以 $x_t$ 满足高斯分布 ($x_t=\sqrt{1-{\beta }_t}\ast x_{t-1}+\sqrt{{\beta }_t}\ast {ϵ}_{t-1}$)，且：

• $x_t\sim N(\sqrt{1-{\beta }_t}\ast x_{t-1},{\beta }_t)$

论文中的定义：

一个真实分布的data，分布满足 $x_0\sim q(x)$，一共加了T次噪声，得到 $x_1,x_2,...,x_r$
每次加噪声操作是对前一次加完噪声的结果操作（Markov chain），

$q(x_t|x_{t-1})=N(x_t;\sqrt{1-{\beta }_t}\ast x_{t-1},{\beta }_{t}I)$

${\beta }_t$ 是超参数，I 是标准高斯分布，在DDPM中，${\beta }_t$是随着 t 线性增长的（随着 t 的增大，$x_t$ 趋近于标准高斯分布）。

$x_t$ 可以根据 $x_0,t$ 直接推导出来

两个独立高斯分布的和依然是高斯分布，且均值为二者均值的和，方差为二者方差的和。

所以，给定图片和时间t，前向扩散是一个确定的过程。
$q(x_t|x_0)=N(x_t;\sqrt{{\overline{\alpha }}_t}\ast x_0,(1-{\overline{\alpha }}_t)\ast ϵ)$

反向扩散过程：

反向生成过程：从一个高斯分布采样，通过反转过程生成观测图像

事实上在已知$x_0$情况下，反向生成过程也是一个确定性的过程。

根据贝叶斯公式

优化目标：

总结

1. DDPM 是一类生成模型，输入是标准高斯噪声，输出是图片
2. DDPM 是稳定易训练的
3. DDPM 生成过程不是一步到位的，需要迭代（耗时）
4. DDPM 的输入和输出尺寸是一致的（耗资源耗时）

针对耗时的问题
许多加速采样的方法应运而生，目的是降低迭代的次数，从而提速

针对耗资源的问题
Latent Diffusion Models 通过结合 VQ-VAE，将diffusion model做到VAE的encoder输出上，如此减少了diffusion model的输入尺寸，也节省了资源和耗时。

---

Reference:
B站up主: SY_007 Diffusion Model讲解视频

$$Author:Chier$$