扩散模型(一)——DDPM推导笔记-大白话推导

扩散模型系列：
（1）扩散模型(一)——DDPM推导笔记-大白话推导
（2）扩散模型(二)——DDIM学习笔记-大白话推导

各位佬看文章之前，可以先去看看这个视频，并给这位up主点赞投币，这位佬讲解的太好了：大白话AI

1.前置知识的学习

1.1 正态分布特性

​ （1）正态分布的概率密度函数
$$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}},记为N(\mu ,{\sigma }^2)$$

​ 当$\mu =0,{\sigma }^2=1$时，则记为标准正态分布，记为$N(0,1)$, 又称为高斯分布。

​ （2）正态分布的基本性质
$$\begin{gathered} N({\mu }_1,{\sigma }_1^2)+N({\mu }_2,{\sigma }_2^2)=N({\mu }_1+\mu 2,{\sigma }_1^2+{\sigma }_2^2) \\ a\ast N(\mu ,\sigma )=N(a\ast \mu ,(a\ast \sigma {)}^2) \end{gathered}$$

1.2 贝叶斯定理

​ $A,B$是两个随机事件，$P(A)$表示$事件A$发生的概率，$P(B|A)$表示A事件发生的情况下B事件发生的概率，则贝叶斯定理如下：
$$P(A|B)=\frac{P(B|A)\ast P(A)}{P(B)}$$

2. 前向过程（加噪）

​ 如图所示，前向过程则是一个加载过程，在每个时间步，都从正态分布中随机采样一个和图片等大的噪声（也可以理解为噪声图片），则加噪过程：
$$x_1=\sqrt{{\beta }_1}\ast {ϵ}_1+\sqrt{1-{\beta }_1}\ast x_0$$
​ 其中$x_0$表示原始图片，${ϵ}_1$ 表示随机噪声，${\beta }_1$表示扩散速度，$T$表示扩散的次数，则可以一次推导：
$$\begin{gathered} x_1=\sqrt{{\beta }_1}\ast {ϵ}_1+\sqrt{1-{\beta }_1}\ast x_0 \\ {x}_2=\sqrt{{\beta }_2}\ast {ϵ}_2+\sqrt{1-{\beta }_2}\ast x_1 \\ {x}_3=\sqrt{{\beta }_3}\ast {ϵ}_3+\sqrt{1-{\beta }_3}\ast x_2 \\ \cdot \cdot \cdot \cdot \cdot \cdot \\ {x}_T=\sqrt{{\beta }_T}\ast {ϵ}_T+\sqrt{1-{\beta }_T}\ast x_{T-1} \\ 前后关系就可以记为： \\ {x}_t=\sqrt{{\beta }_t}\ast {ϵ}_t+\sqrt{1-{\beta }_t}\ast x_{t-1} \end{gathered}$$
​ ${\beta }_0$接近0，${\beta }_T$接近1，原因是越到最后扩散速度越快, 而且是自己事先就要定义好的常数，为简化后续运算，令${\alpha }_t=1-{\beta }_t$, 则有：
$$x_t=\sqrt{1-{\alpha }_t}\ast {ϵ}_t+\sqrt{{\alpha }_t}\ast x_{t-1}$$

​ 思考：如何能更快的得到$x_T$？因为如果加噪1000步，岂不是要计算1000次上述的运算！好的，下面介绍怎样依赖正态分布的可加性来简化运算，从而推导出$x_0$到$x_t$的关系：
$$\begin{gathered} 由： \\ {x}_t=\sqrt{1-{\alpha }_t}\ast {ϵ}_t+\sqrt{{\alpha }_t}\ast x_{t-1} \\ {x}_{t-1}=\sqrt{1-{\alpha }_{t-1}}\ast {ϵ}_{t-1}+\sqrt{{\alpha }_{t-1}}\ast x_{t-2} \\ 把x_{t-1}代入到x_t中可以推导出： \\ {x}_t=\sqrt{1-{\alpha }_t}\ast {ϵ}_t+\sqrt{{\alpha }_t}\ast (\sqrt{1-{\alpha }_{t-1}}\ast {ϵ}_{t-1}+\sqrt{{\alpha }_{t-1}}\ast x_{t-2}) \\ =\sqrt{a_t(1-a_{t-1})}\ast {ϵ}_{t-1}+\sqrt{1-a_t}\ast {ϵ}_t+\sqrt{a_t{a}_{t-1}}\ast x_{t-2} \\ 其中：{ϵ}_{t-1}和{ϵ}_t是两个随机噪声，且两者是两个独立的随机变量。 \\ 打个比喻：我们有一个骰子掷两次分别得到{ϵ}_{t-1}和{ϵ}_t，完全可以等效 \\ 于我们有两个骰子掷一次。即：一个骰子掷两次的概率分布等同于两个骰子掷一次的概率分布，所以, \\ 如果我们知道两个骰子掷一次的概率分布，然后进行一次采样即可。 \end{gathered}$$

$$\begin{gathered} 由正态分布的基本性质可知： \\ {ϵ}_t和{ϵ}_{t-1}服从N(0,1),即：{ϵ}_t\sim N(0,1),{ϵ}_{t-1}\sim N(0,1) \\ 可以推导出：\sqrt{1-a_t}\ast {ϵ}_t\sim N(0,1-{\alpha }_t) \\ \sqrt{a_t(1-a_{t-1})}\ast {ϵ}_{t-1}\sim N(0,a_t-a_t\ast a_{t-1})) \end{gathered}$$

$$\begin{gathered} 从而推导出： \\ \sqrt{a_t(1-a_{t-1})}\ast {ϵ}_{t-1}+\sqrt{1-a_t}\ast {ϵ}_t\sim N(0,1-a_t\ast a_{t-1}) \end{gathered}$$

$$\begin{gathered} 进而推导出： \\ {x}_t=\sqrt{1-a_t\ast a_{t-1}}\ast ϵ+\sqrt{a_t\ast a_{t-1}}\ast x_{t-2},其中：ϵ\sim N(0,1-a_t\ast a_{t-1}) \end{gathered}$$

$$\begin{gathered} 这里就可到了x_t和x_{t-2}之间的关系，然后依靠上面的方法就可以一次推导出x_t到x_0的关系(数学归纳法证明)，具体如下： \\ {x}_t=\sqrt{1-a_t{a}_{t-1}{a}_{t-2}...a_1}\ast ϵ+\sqrt{a_t{a}_{t-1}{a}_{t-2}...a_1}\ast x_0 \\ 其中，ϵ\sim N(0,1-a_t{a}_{t-1}{a}_{t-2}...a_1) \end{gathered}$$

$$\begin{gathered} 为了方便表示,记：{\bar{a}}_t=a_t{a}_{t-1}{a}_{t-2}...a_1 \\ 则：x_t=\sqrt{1-{\bar{a}}_t}\ast ϵ+\sqrt{{\bar{a}}_t}{x}_0 \end{gathered}$$

​ 至此，前向过程就记录完成了，我们得到$x_0到x_t$的关系，并且可以只通过一次采样就能得到。

3. 反向过程（去噪）

​ 去噪过程就是从$x_T$一步步反推回$x_0$。

3.1 反向原理推导

​ 由贝叶斯定理：
$$P(A|B)=\frac{P(B|A)\ast P(A)}{P(B)}$$
​ 我们可以令：
$$\begin{gathered} 由于x_t到x_{t-1}是一个随机过程，则令： \\ P(x_{t-1}|x_t):表示在给定x_t的情况下，x_{t-1}的概率。 \\ 套用贝叶斯定理得： \\ P(x_{t-1}|x_t)=\frac{P(x_t|x_{t-1})\ast P(x_{t-1})}{P(x_t)} \\ 其中，P(x_t)和P(x_{t-1})分别表示x_t和t_{t-1}的概率,也就是从x_0原图得到它们的概率。 \end{gathered}$$
$$\begin{gathered} 所以，可以在每个式子后面添加一个先验x0,即： \\ P(x_{t-1}|x_t,x_0)=\frac{P(x_t|x_{t-1},x_0)\ast P(x_{t-1}|x_0)}{P(x_t|x_0)} \end{gathered}$$
$$\begin{gathered} 有： \\ P(x_t|x_{t-1},x_0)给定x_{t-1}到x_t的概率。 \\ 前向过程中可知： \\ {x}_t=\sqrt{1-{\alpha }_t}\ast {ϵ}_t+\sqrt{{\alpha }_t}\ast x_{t-1} \\ {x}_t=\sqrt{1-{\bar{a}}_t}\ast ϵ+\sqrt{{\bar{a}}_t}{x}_0 \\ {ϵ}_t和ϵ分别服从N(0,1) \\ 从而推导出： \\ {x}_t\sim N(\sqrt{a_t}{x}_{t-1},1-a_t) \\ 或： \\ {x}_t\sim N(\sqrt{{\bar{a}}_t}{x}_0,1-{\bar{a}}_t) \\ 以及： \\ {x}_{t-1}\sim N(\sqrt{{\bar{a}}_{t-1}}{x}_0,1-{\bar{a}}_{t-1}) \end{gathered}$$

​ 然后就可以把他们分别写成概率密度形式：

​ 然后将概率密度函数带入到贝叶斯定理中，就可以得到：

​ 化简成高斯分布得：

​ $P(x_{t-1}|x_t,x_0)$ =

​ 由此推导出：

$$\begin{gathered} 我们的目的是通过x_t求出x_{t-1},然后由x_{t-1}推导出x_{t-2}\cdot \cdot \cdot 直到求出x_0， \\ 但现在的式子中出现了x_0,怎么办？ \\ 没关系，我们之前由x_t和x_0的关系： \\ {x}_t=\sqrt{1-{\bar{a}}_t}\ast ϵ+\sqrt{{\bar{a}}_t}{x}_0 \end{gathered}$$
​ 变换可以得到：

​ 将它带入到$P(x_{t-1}|x_t,x_0)$的概率密度函数中可得：

​ 它表示的是：对于任意$x_t$的图像都可以用$x_0$加载而来；而只要知道了从$x_0$到$x_t$加入的噪声$ϵ$，就能得到它前一时刻$x_{t-1}$的概率分布，即：$P(x_{t-1}|x_t,x_0)$ 。
其中，可以通过数学变换将$P(x_{t-1}|x_t,x_0)$中的均值部分（即$\mu$）变换成如下形式，更利于代码实现：

这样$P(x_{t-1}|x_t,x_0)$服从概率分布如下：
$$P(x_{t-1}|x_t,x_0)\sim N(\frac{1}{\sqrt{a_t}}(x_t-\frac{1-a_t}{\sqrt{1-{\bar{a}}_t}}ϵ),(\sqrt{\frac{{\beta }_t(1-{\bar{a}}_{t-1})}{1-{\bar{a}}_t}}{)}^2)$$
​
​ 这里我们就需要使用神经网络，输入$x_t$时刻的图像，预测此图像相对于某个$x_0$原图加入的噪声$ϵ$。

​ 如图所示，也就是说：

​
Step1: 在神经网络中，输入$x_t$时刻图像，训练得到此图像相对于某个$x_0$原图加入的噪声$ϵ$。

​ Step2： 将噪声$ϵ$带入到$x_{t-1}$的概率密度函数$P(x_{t-1}|x_t,x_0)$中；

​ Step3: 从$x_{t-1}$的概率密度函数$P(x_{t-1}|x_t,x_0)$中随机采样，得到$x_{t-1}$(即t-1时刻对应的图像)；

​ Step4: 将$x_{t-1}$作为神经网络的输入，带入到Step1中，循环Step1 ~ Step3，直到得到$x_0$

​ DDPM中的神经网络选用的UNet.

3.2 疑难点注解

​ （1）在反向传播的过程中，训练的$ϵ$是个固定的值，还是根据$t$的变化而变化的值?

​ 是个固定的值！

​ 理由：在推导反向传播时，为了去掉$x_0$而引入了$x_t与x_0$的关系，
$$\begin{gathered} x_t=\sqrt{1-{\bar{a}}_t}\ast ϵ+\sqrt{{\bar{a}}_t}{x}_0 \\ 其中，ϵ\sim N(0,1-a_t{a}_{t-1}{a}_{t-2}...a_1) \end{gathered}$$

​ 而$x_t=\sqrt{1-{\bar{a}}_t}\ast ϵ+\sqrt{{\bar{a}}_t}{x}_0$中的$ϵ$在前向传播中已经确定好了，所以神经网络训练的$ϵ$就是要去接近它。因为在训练过程中的损失函数就是使用的MES_Loss使两个$ϵ$尽可能一致。

​ （2）很多代码中$x_t=\sqrt{1-{\bar{a}}_t}\ast ϵ+\sqrt{{\bar{a}}_t}{x}_0$的$ϵ$并不是从$ϵ\sim N(0,1-a_t{a}_{t-1}{a}_{t-2}...a_1)$采样的，而是直接从$N(0,1)$中采样的，这是为什么？

​ 理由：因为$a_t{a}_{t-1}{a}_{t-2}...a_1$非常趋近于0， 所以$1-a_t{a}_{t-1}{a}_{t-2}...a_1$非常趋近于1。故直接从$N(0,1)$中采样。

​ （3）训练过程中的Step3: 从$x_{t-1}$的概率密度函数$P(x_{t-1}|x_t,x_0)$中随机采样，得到$x_{t-1}$(即t-1时刻对应的图像)，其中的采样是怎么完成的？

​ 千万不要被什么"采样"、"概率分布"等字眼吓到，其实非常简单！从代码的角度解释就是：

​ 1）我们已知：
$$P(x_{t-1}|x_t,x_0)\sim N(\frac{1}{\sqrt{a_t}}(x_t-\frac{1-a_t}{\sqrt{1-{\bar{a}}_t}}ϵ),(\sqrt{\frac{{\beta }_t(1-{\bar{a}}_{t-1})}{1-{\bar{a}}_t}}{)}^2)$$
​ 其中我们输入的是$x_t$, 而式子中的$ϵ$是神经网络需要预测的，其中的$a_t、{\bar{a}}_t、{\beta }_t$都是事先定义好的。

​ 2）从概率分布中采样

​ 我们现在有了$x_t,ϵ$和概率分布，怎样得到$x_{t-1}$呢？很简单：

​ Step1: 从$N(0,1)$中随机采样一个噪声，代码如下：

noise = torch.randn_like(x_t)	# randn_like(x_t)表示从标准正态分布中采样一个和x_t同维度的noise

​ Step2： 获取概率中的方差var
$$var=\frac{{\beta }_t(1-{\bar{a}}_{t-1})}{1-{\bar{a}}_t}$$
​ 里面的参数都是已知的。

​ Step3: 获取概率分布中的均值mean
$$\frac{1}{\sqrt{a_t}}(x_t-\frac{1-a_t}{\sqrt{1-{\bar{a}}_t}}ϵ)$$
​ 里面的$x_t$是输入，$ϵ$是神经网络预测的，其他的都是已知的。

​ Step4: 从概率分布中采样

​ 很简单的，就是$x_{t-1}=$mean + noise * sqrt(var)即可，这样就表示从：
$$P(x_{t-1}|x_t,x_0)\sim N(\frac{1}{\sqrt{a_t}}(x_t-\frac{1-a_t}{\sqrt{1-{\bar{a}}_t}}ϵ),(\sqrt{\frac{{\beta }_t(1-{\bar{a}}_{t-1})}{1-{\bar{a}}_t}}{)}^2)$$
​ 进行采样，即得到了$x_{t-1}$, 然后把$x_{t-1}$带入到神经网络，重新预测$ϵ$，重复上述步骤，就可以得到$x_{t-2}$，一直持续，就可以得到$x_0$。

​ （4）前向加噪是不是只需要一步即可，而反向去噪则需要T步?

​ 对！

​ 理由：前向加噪过程本来是需要T步的，但通过正态分布的性质，让我们一次采样就可以得到和T次采样一样的效果，所以只需要一次即可！

​ 而反向传播中，则需要T步，即：若T=1000,则需要进行1000次预测。因为反向传播依赖马尔科夫链，需要已知$x_t$才能得到$x_{t-1}$，只能这样一次次推导才能得出$x_0$。这也是DDPM很大的一个缺点，推理太慢！后面才有DDIM的改进。

至此，本文结束！