扩散模型（Diffusion Model）原理讲解 数学公式推导 简洁易懂版

说在前面

此博客用于记录学习diffusion model初期对于模型原理，数学公式推导的认识，本人在学习过程中，发现没有真正优质能让人看懂的博客，那就自己做一个记录吧，以下内容来自网络，文末附引用。

什么是扩散模型？

每接触一个新的模型都会问的问题，GPT的解释是这样的：

Diffusion Model 是近年来在生成式建模领域取得显著进展的一类概率模型，主要用于生成高质量的样本，比如图像、音频、视频等数据类型。它基于对数据分布的逐步逼近与还原，结合了理论上的优雅性和实际应用的高性能。

其核心思想是通过一系列逐步增加噪声的过程将数据分布转换成一个简单的先验分布（如高斯分布），再训练一个模型来逆转这个过程，即从噪声中逐渐恢复出原始的数据分布。
扩散模型的训练目标通常是优化一个损失函数，这个损失函数衡量的是模型预测的噪声与实际添加的噪声之间的差异。训练过程中，模型学习到的是如何从噪声数据中恢复出原始数据的方法，因此能够用于生成新的数据样本。
可以理解为模拟的是一个正向扩散过程和反向生成过程。在正向过程中，是将噪声逐步加入到数据中，最终转化为近似高斯分布的情况；在反向过程中，是从纯噪声逐步还原数据，直到生成近似真实样本的结果。

公式推导

前向过程

${\alpha }_t=1-{\beta }_t$ 这里面的$\beta$会逐渐变大，从0.0001到0.002，对应的$\alpha$就会逐渐变小，在代码中是直接在这个范围内等间隔采样，随着迭代次数的增加，$\beta$增大。

$x_t=\sqrt{a_t}{x}_{t-1}+\sqrt{1-a_t}{z}_1（1）$

这个式子描述前向过程中由$x_{t-1}$得$x_t$。可以看到在开始时候，只加一点噪声，后来越加越多，直到近似成为全噪声的图像。
现在需要解决的问题：对于整个序列，一个一个计算太费事，对任意时刻的$X_t$能不能直接由$X_0$计算得来？

$x_{t-1}=\sqrt{a_{t-1}}{x}_{t-2}+\sqrt{1-a_{t-1}}{z}_2（2）$，将这个（2）式带入（1）式，有：

$x_t=\sqrt{a_t}(\sqrt{a_{t-1}}{x}_{t-2}+\sqrt{1-{\alpha }_{t-1}}{z}_2)+\sqrt{1-{\alpha }_t}{z}_1（3）$

目前已知的是每次加入的噪声$z_1,z_2$等都服从高斯分布$\mathcal{N}(0,\mathbf{I})$
将（3）式展开：

$x_t=\sqrt{a_t{a}_{t-1}}{x}_{t-2}+(\sqrt{a_t(1-{\alpha }_{t-1})}{z}_2+\sqrt{1-{\alpha }_t}{z}_1)（4）$

$x_t=\sqrt{a_t{a}_{t-1}}{x}_{t-2}+\sqrt{1-{\alpha }_t{\alpha }_{t-1}}z（5）$

已知（4）中的$z_1，z_2$分别服从$\mathcal{N}(0,1-{\alpha }_{\mathbf{t}})，\mathcal{N}(0,{\mathbf{a}}_{\mathbf{t}}(1-{\alpha }_{\mathbf{t}-1}))$。
有性质 $\mathcal{N}(0,{\sigma }_1^2\mathbf{I})+\mathcal{N}(0,{\sigma }_2^2\mathbf{I})\sim \mathcal{N}(0,({\sigma }_1^2+{\sigma }_2^2)\mathbf{I})$ ，所以（5）式中的 z 的方差是 $1-{\alpha }_t+a_t(1-{\alpha }_{t-1})=1-{\alpha }_t{\alpha }_{t-1}$

观察（5）式，可以发现$x_t$ 和 $x_{t-2}$ 的关系可以迭代推广，一直迭代到$x_0$，得到：

$x_t=\sqrt{{\overline{\alpha }}_t}{x}_0+\sqrt{1-{\overline{\alpha }}_t}{z}_t$ （其中 ${\overline{\alpha }}_t$ 指的是累乘，就是${\alpha }_t\ast {\alpha }_{t-1}\ast {\alpha }_{t-2}\ast \ast {\alpha }_1$）（6）

上面的式子说明对于扩散模型的前向过程，可根据 $x_0$直接得到任意时刻的分布。到此，前向过程可以进行。

反向过程

根据上面的逆向图例，要根据$X_T$求$X_{T-1}$，就需要知道 $q(x_{T-1}|x_T)$

有贝叶斯公式可知，$q(x_{T-1}|x_T)=q(x_T|x_{T-1})\frac{q(x_{T-1})}{q(x_T)}$

结合正向过程中的$x_0$，有 $q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)=q({\mathbf{x}}_t|{\mathbf{x}}_{t-1},{\mathbf{x}}_0)\frac{q({\mathbf{x}}_{t-1}|{\mathbf{x}}_0)}{q({\mathbf{x}}_t|{\mathbf{x}}_0)}$

上式左侧的三个部分都可求，对应的$q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)$也可求。

$q({\mathbf{x}}_{t-1}|{\mathbf{x}}_0)\sqrt{{\overline{a}}_{t-1}}{x}_0+\sqrt{1-{\overline{a}}_{t-1}}z\sim \mathcal{N}(\sqrt{{\overline{a}}_{t-1}}{x}_0,1-{\overline{a}}_{t-1})$

$q({\mathbf{x}}_t|{\mathbf{x}}_0)\sqrt{{\overline{a}}_t}{x}_0+\sqrt{1-{\overline{a}}_t}z\sim \mathcal{N}(\sqrt{{\overline{a}}_t}{x}_0,1-{\overline{a}}_t)$

$q({\mathbf{x}}_t|{\mathbf{x}}_{t-1},{\mathbf{x}}_0)\sqrt{a_t}{x}_{t-1}+\sqrt{1-a_t}z\sim \mathcal{N}(\sqrt{a_t}{x}_{t-1},1-a_t)$

上面第一个式子可以理解为直接根据$x_0$求$x_{t-1}$，第二个式子是直接根据$x_0$求$x_t$，直接套用上面的公式（6）即可，而对第三个单纯就是式子（1）。

已知对于高斯分布$\mathcal{N}(\mu ,\sigma )$，有概率密度函数$p(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{\frac{-(x-\mu {)}^2}{2{\sigma }^2}}$
即$\mathcal{N}(\mu ,\sigma )\propto e^{\frac{-(x-\mu {)}^2}{2{\sigma }^2}}$，可以根据上面部分的高斯分布得到我们要求解的$q(x_{T-1}|x_T)$正比的形式。

$\begin{array}{rl}& q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)\propto \exp (-\frac{1}{2}(\frac{({\mathbf{x}}_t-\sqrt{{\alpha }_t}{\mathbf{x}}_{t-1}{)}^2}{{\beta }_t}+\frac{({\mathbf{x}}_{t-1}-\sqrt{{\bar{\alpha }}_{t-1}}{\mathbf{x}}_0{)}^2}{1-{\bar{\alpha }}_{t-1}}-\frac{({\mathbf{x}}_t-\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0{)}^2}{1-{\bar{\alpha }}_t}))\end{array}$

根据对应关系，可以看到上面图片中的红色部分括号中对应分布的方差。又因为在最原始的模型中，${\alpha }_t和{\beta }_t$都是固定已知的，所以方差已知。上图中蓝色部分对应可以求解均值，求出的均值：

${\tilde{\mathbf{\mu }}}_t({\mathbf{x}}_t,{\mathbf{x}}_0)=\frac{\sqrt{{\alpha }_t}(1-{\bar{\alpha }}_{t-1})}{1-{\bar{\alpha }}_t}{\mathbf{x}}_t+\frac{\sqrt{{\bar{\alpha }}_{t-1}}{\beta }_t}{1-{\bar{\alpha }}_t}{\mathbf{x}}_0$

但是目前存在的问题：$X_0$就是要反向过程要求解的状态。
这个时候正向过程的（6）式就可以拿来替换了，由（6）式得到 ${\mathbf{x}}_0=\frac{1}{\sqrt{{\bar{\alpha }}_t}}({\mathbf{x}}_t-\sqrt{1-{\bar{\alpha }}_t}{\mathbf{z}}_t)$

最终结果：${\tilde{\mu }}_t=\frac{1}{\sqrt{a_t}}(x_t-\frac{{\beta }_t}{\sqrt{1-{\overline{a}}_t}}{z}_t)$
目前已知方差和均值，可以将反向的过程一步一步进行下去了。

但是目前又出现问题：上式中的$z_t$用数学方法始终没办法求，所以只能借助于模型训练，通过模型预测在某时刻 t 的噪声。（ps：一顿操作猛如虎，最后还是需要神经网络出手 -_-）

模型训练

上面提到了，其实就是对每一步的噪声进行拟合，模型的训练需要标签，在扩散模型中，正向过程加噪的过程中，自己加入的噪声肯定是已知的。那么在反向的过程中，关注模型预测出来的噪声和原来加入的噪声之间的差异，尝试最小化两者之间差异就可以进行训练。

算法解读

训练阶段

#2 对于某一个特定的分布q(x_0)，在该分布中进行采样（大致可以理解为，比如全是猫的数据集，全是狗的数据集，在这个特定的数据集里面进行采样得到x_0）
#3 对应的t是在1到T这个范围内随机选的。在同一个batch中，每个图片对应的t也不一致
#4 前提：噪声需要服从标准正态分布
#5 模型的训练，其中是指要训练的模型，模型的输入就是图中框出来的部分，也就是X_T，模型的输入同时还包含 t，就是把时刻也输入到了模型中，在实际操作中，会根据 t 生成一个向量（正弦位置嵌入），作为轮数的编码。用模型预测值不断拟合真实值，通过Unet这个框架学习到噪音的信息。

采样阶段

#1 x_T 是随机采样的，看作高斯分布
#2#3#4#5 做循环，从 x_T 一直循环到 x_1，逐步从全噪音图还原成想要的图片。使用的是推导的公式，配合已经训练的模型，可以实现想要的效果。
#6 得到最终的x_0

---

感谢Diffusion Model：比“GAN"还要牛逼的图像生成模型！论文精读+公式推导 视频的讲解，侵删