扩散模型笔记（pytorch实现）

论文：Denoising Diffusion Probabilistic Models
讲解视频：Probabilistic Diffusion Model概率扩散模型理论与完整PyTorch代码详细解读
视频笔记：Probabilistic Diffusion Model概率扩散模型理论与完整PyTorch代码详细解读
示例代码：

符号和公式

$x_0$：从真实数据分布中采样得到的数据，可以粗略得理解成样本图像。
$x_i,i=1,2,...,T$：第$i$次扩散时向样本数据中添加高斯噪声后得到的样本。
$q(x)$：扩散过程中，数据$x$的分布，模型中统一为高斯分布。
$q(x_t|x_{t-1})$：给定$x_{t-1}$的前提下，$x_t$的数据分布。
$p(x)$：逆扩散过程中，数据$x$的分布。
$z_t$：均值为0，方差为1的正态分布噪声，经过变换后可以表示第$i$次扩散时向样本数据中添加的高斯噪声。
$q(x_t|x_{t-1})=N(x_t;\sqrt{1-{\beta }_t}{x}_{t-1},{\beta }_{t}I)$：$x_t$是以$\sqrt{1-{\beta }_t}{x}_{t-1}$为均值，${\beta }_{t}I$为方差的正态分布。令${\alpha }_t=1-{\beta }_t,{\overline{\alpha }}_t={\prod }_{i=1}^T{\alpha }_i$,则$x_t$可以写成下式：
$$x_t=\sqrt{{\alpha }_t}{x}_{t-1}+\sqrt{1-{\alpha }_t}{z}_{t-1}$$
将$x_{t-1}$进行替换，基于正态分布叠加的规律，可以得到如下计算：

整体思路

扩散模型可以分为扩散/前向过程和逆扩散/反向过程。
扩散过程就是向样本图像中逐步添加噪声，学习如何将图像扩散为噪声。
逆扩散过程就是从噪声中恢复图像，当模型学会从噪声中恢复图像后，给定噪声数据，模型也能够由噪声生成图像。因此，推理时只包括逆扩散过程。

扩散过程

扩散模型和其它类型的潜空间模型的区别在于近似后验分布$q(x_{1:T}|x_0)$，
扩散模型的前向过程固定在马尔科夫链上，所以具有下式：

前向过程根据方差表${\beta }_1,...,{\beta }_T$向数据中逐步添加高斯噪声，使$x_t$成为以$\sqrt{1-{\beta }_t}{x}_{t-1}$为均值，${\beta }_{t}I$为方差的正态分布。即：

基于上面两个式子，可以推出$x_T$和$x_0$的关系，如下：

反向过程

反向过程被定义为马尔科夫链，初始样本为标准正态分布$p(x_T)=N(x_T;0,I)$。