DDPM扩散模型（模型结构图与公式推导）

DDPM扩散模型

一、前置知识

1. 条件概率知识

$P(A|B)=\frac{P(AB)}{P(B)}$

$P(ABC)=P(C|BA)P(BA)=P(C|BA)P(B|A)P(A)$

$P(BC|A)=P(B|A)P(C|A,B)$

$P(C|A,B)=\frac{P(BC|A)}{P(B|A)}$

2. 基于马尔科夫假设的条件概率

如果满足马尔科夫链关系$A->B->C$那么有

$P(ABC)=P(C|BA)P(BA)=P(C|B)P(B|A)P(A)$

$P(BC|A)=P(B|A)P(C|B)$

3. 高斯分布的KL散度公式

对于两个单一变量的高斯分布 P 和 Q 而言，它们的 KL 散度为： $KL(P,Q)=\log \frac{{\sigma }_1}{{\sigma }_2}+\frac{{\sigma }_1^2+({\mu }_1-{\mu }_2{)}^2}{2{\sigma }_2^2}-\frac{1}{2}$

KL 散度，又称为相对熵，描述两个概率分布P和Q的差异和相似性，用$D_{KL}(P||Q)$表示

显然，散度越小，说明概率Q与概率P之间越接近，那么估计的概率分布与真实的概率分布也就越接近。

KL 散度的性质：

1. 非对称性：$D_{KL}\ne D_{KL}(Q||P)$
2. $D_{KL}(P||Q)\ge 0$，仅在$P=Q$时等于0

4. 参数重整化

如果希望从高斯分布$N(\mu ,{\sigma }^2)$中采样（$\mu$：表示均值，${\sigma }^2$：表示方差），可以先从标准分布$N(0,1)$采样处$z$，再得到$\sigma \times z+\mu$ ，这样做的好处是将随机性转移到了$z$这个常量上了，而$\sigma$和$\mu$则当做仿射变换网络的一部分。

二、Diffusion Model流程

$x_0$是初始数据（一个初始的图片），$x_T$是最终的图片（一个纯噪声的图片）。

1. $x_0\sim x_T$的过程是一个加噪过程，每次从$q(x_t|x_{t-1})$分布中取噪声，然后添加到前一个时间步的图片数据中，这样经过T个时间步，我们就能得到一个纯噪声的图片了。
2. $x_T\sim x_0$的过程是一个去噪过程，每次从$p_{\theta }(x_{t-1}|x_t)$分布中取噪声，然后使前一个时间步的图片数据减去该噪声，这样经过T个时间步，我们就能得到原始的图片了。

其中$q(x_t|x_{t-1})$是自己设定的一个加噪分布，而$p_{\theta }(x_{t-1}|x_t)$是需要神经网络去学习的一个分布，我们会使用参数分布来去对该分布做估计，由于使用了参数重整化的思想（$\sigma \times ϵ+\mu$，其中$\sigma$是分布的方差，$\mu$表示的是分布的均值，$ϵ$是从标准正态分布中随机采样的一个值），我们加噪过程是从一个标准正态分布中随机采样一个值，然后再进行参数重整化，依据$\mu$和$\sigma$得到特定分布下的噪声，而去噪过程是利用神经网络学习这个噪声，然后在每个时间步上减去预测出的噪声。

三、加噪过程

给定初始数据分布$x_0\sim q(x)$，可以不断地向分布中添加高斯噪声，该噪声的方差是以固定值${\beta }_t$而确定的，均值是以固定值${\beta }_t$和当前$t$时刻的数据$x_t$决定的。这个过程是一个马尔科夫链过程，随着$t$的不断增大，不断的向数据中添加噪声，最终数据分布$x_t$变成了一个各向独立的高斯分布。

噪声的分布可以表示如下：

$q(x_t|x_{t-1})=N(x_t;\sqrt{1-{\beta }_t}\cdot x_{t-1},{\beta }_{t}I)$ 其中$\sqrt{1-{\beta }_t}\cdot x_{t-1}$表示该分布的均值，${\beta }_{t}I$ 表示方差（$I$表示单位矩阵）。

那么有：$x_t=\sqrt{1-{\beta }_t}{x}_{t-1}+\sqrt{{\beta }_t}{z}_t$，其中$\sqrt{1-{\beta }_t}$是一个控制噪声强度的系数，${\beta }_t$是一个添加噪声比例的系数，论文中说明，当分布越来月接近噪声分布的时候，可以将${\beta }_t$变得大一点，这样做可以再初始的时候${\beta }_t$很小，那么添加的噪声也就很小，而$\sqrt{1-{\beta }_t}$会很大，那么将会保留更多原来数据的特征，再最后的时候${\beta }_t$很大，那么添加的噪声也会更大，而$\sqrt{1-{\beta }_t}$也就会更大，那么将会去除掉更多原来数据的特征。

设定噪声的方差${\beta }_t\in (0,1)$，并且 ${\beta }_t$ 随着 $t$ 的增大而增大。

通过上述的分布，我们可以将原始数据图片$x_0$通过$q(x_1|x_0)$分布进行加噪，从而得到