DDPM扩散模型笔记

DDPM扩散模型笔记

参考链接：李宏毅扩散模型 https://www.bilibili.com/video/BV1TD4y137mP?p=42

1. 图像生成模型本质上的共同目标

图1 图像生成模型的目标

​ 存在一个标准的高斯分布$(N(0,I))$数据$z$，每次通过采样的方式从数据$z$中得到某个输入向量Vector， 将输入向量Vector输入到生成网络$G(\cdot )$中， 利用生成网络生成数据$x$，即对应的一张图片，网络生成图片的过程可以用$G(z)=x$表示。按照上述方式每次从标准高斯分布中采样一个输入向量Vector都会对应生成一张图像$x$。生成网络$G(\cdot )$的作用就是通过从一个简单的分布中采样一个向量Vector，并将该Vector输入到生成网络$G(\cdot )$中生成图像$x$，而生成的图像$x$则要求与真实图像数据的分布越接近越好。以上是图像生成模型最终想要达到的共同目标。

2. 极大似然估计(Maximum Likelihood Estimation)

图2 真实数据分布与生成数据分布的差异

​ 上面提到生成网络$G(\cdot )$的目标是希望从一个简单分布中采样一个输入向量Vector，然后将输入向量Vector输入到生成网络$G(\cdot )$中输出图像$x$，最终的目标是要求输出的图像$x$能够与真实图像越接近越好。这里的接近不是针对单张图像来说的，而是针对输出图像所在的分布与目标真实数据集之间的分布越接近越好。衡量两个分布之间的解决程度通常用KL散度来表示。但是在利用KL散度之前需要对生成网络输出图像的分布与真实数据集的分布进行显示的表达，至少应该表示成两个概率分布，这才能用来计算两个分布之间的KL散度， KL散度具体公式如下：
$$D_{KL}(p||q)=\sum _{i=1}^N[p(x_i)logp(x_i)-p(x_i)logq(x_i)]\text{\hspace{1em}(2.1)}$$
​ 先考虑利用生成网络生成图像$x$的分布，大多数图像生成网络采用极大似然估计的方式来求生成图像$x$的概率分布。首先假设生成网络要学习的参数为$\theta$， 根据学习到的参数$\theta$生成的图像分布用$P_{\theta }(x)$表示，真实数据集的分布用$P_{data}(x)$来表示。而极大似然估计是按照如下步骤进行计算，先从真实数据集$P_{data}$中采样$m$个数据 { x 1 , x 2 , . . . , x m } \{x^1, x^2, ..., x^m\} {x1,x2,...,xm}，在假定网络能够给出$\theta$得到生成数据分布的概率分布$P_{\theta }(\cdot )$，将采样得到的$m$个真实数据输入的$P_{\theta }(x)$中得到对应的极大似然结果:
$${\theta }^{\ast }=argma{x}_{\theta }\prod _{i=0}^m{P}_{\theta }(x^i)\text{\hspace{1em}(2.2)}$$
如果将真实数据输入到生成网络学习到参数$\theta$对应的分布$P_{\theta }$，根据极大似然估计得到的结果取得极大值， 那么对应的参数${\theta }^{\ast }$就是最终要得到的数据分布。公式2.2的直觉理解可以认为通过网络学习到了参数$\theta$对应的分布$P_{\theta }(\cdot )$，那么如何判定生成数据分布$P_{\theta }$的好坏？ 可以将真实数据集$P_{data}$采样得到的数据 { x 1 , x 2 , . . . , x m } \{x^1, x^2, ..., x^m \} {x1,x2,...,xm}代入到$P_{\theta }(\cdot )$中，如果能够使得该概率分布的极大似然估计值最大，那么对应的参数${\theta }^{\ast }$最终估计想要得到的参数结果。

​ 下面从数学公式推导证明最小化真实数据分布$P_{data}$和生成网络得到的数据分布$P_{\theta }$之间的差异与公式2.2极大似然估计之间的关系， 首先对公式2.2做如下变换:
$$\begin{gathered} {\theta }^{\ast }=argma{x}_{\theta }\prod _{i=0}^m{P}_{\theta }(x^i) \\ =argma{x}_{\theta }log\prod _{i=0}^m{P}_{\theta }(x^i) \\ =argma{x}_{\theta }\sum _{i=1}^{m}log{P}_{\theta }(x^i)即求和达到最大值近似于抽取单个样本求最大值 \\ \approx argma{x}_{\theta }{E}_x\sim p_{data}[log{P}_{\theta }(x)]随机从真实数据中抽取样本，每次都能取得最大值 \\ =argma{x}_{\theta }{\int }_x{P}_{data}(x)log{P}_{\theta }(x)dx-\underset{与\theta 无关}{\underbrace{{\int }_x{P}_{data}(x)log{P}_{data}(x)dx}}增加这一项不会影响最终结果 \\ =argma{x}_{\theta }{\int }_x{P}_{data}(x)log\frac{P_{\theta }(x)}{P_{data}(x)}dx合并两项组成KL散度 \\ =argmi{n}_{\theta }KL(P_{data}||P_{\theta }) \end{gathered}$$
从上式推导可以得到如下结论，将真实数据代入到生成网络得到的$\theta$参数生成图像的概率分布$P_{\theta }$中，可以将求极大似然估计的过程转换成求生成图像的概率分布$P_{\theta }$与真实数据图像的概率分布$P_{data}$之间的KL散度最小。

3. 变分自编码器计算$P_{\theta }(x)$的过程

图3 变分自编码器计算过程

​ 生成图像的概率分布$P_{\theta }$可以按照如下方式计算，假定从标准高斯分布中抽取某个输入变量Vector的概率为$P(z)$，在给定输入变量$z$后生成图片$x$的概率为$P_{\theta }(x|z)$，那么最终$P_{\theta }(x)$的计算公式为:
$$P_{\theta }(x)={\int }_{z}P(z)P_{\theta }(x|z)dz\text{\hspace{1em}(3.1)}$$
其中$P_{\theta }(x|z)$通过生成网络$G(z)=x$生成，如果按照如下方式：
$$P_{\theta }(x|z)=\{\begin{array}{l}1,G(z)=x\\ 0,G(z)\ne x\end{array}$$
即当生成网络$G(z)$生成的图像满足采集到$z$生成图像$x$每个像素都与真实图像的每个像素值一样时$P_{\theta }(x|z)=1$，否则为0，那么上述生的概率可能都为0， 因为总会有像素值不一样的地方。而在扩散模型中，采用如下的方式，

图4 扩散模型中的计算过程

在VAE中，$P_{\theta }(x|z)$是与$exp(-||G(z)-x|{|}_2)$正比相关的。现在回到推导公式2.2中的求$log{P}_{\theta }(x)$最大化的过程：
$$\begin{gathered} log{P}_{\theta }(x)=log{P}_{\theta }(x){\int }_{z}q(z|x)dz(概率密度归一化性质{\int }_{z}q(z|x)dz=1) \\ ={\int }_{z}q(z|x)log{P}_{\theta }(x)dz \\ ={\int }_{z}q(z|x)log(\frac{P_{\theta }(x)P_{\theta }(z,x)}{P_{\theta }(z,x)})dz \\ ={\int }_{z}q(z|x)log(\frac{P_{\theta }(z,x)}{\frac{P_{\theta }(z,x)}{P_{\theta }(x)}})dz \\ ={\int }_{z}q(z|x)log(\frac{P_{\theta }(z,x)}{P_{\theta }(z|x)})dz \\ ={\int }_{z}q(z|x)log(\frac{P_{\theta }(z,x)q(z|x)}{q(z|x)P_{\theta }(z|x)})dz \\ ={\int }_{z}q(z|x)log(\frac{P_{\theta }(z,x)}{q(z|x)})dz+\underset{KL(q(z|x)||P(z|x))\ge 0}{\underbrace{{\int }_{z}q(z|x)log(\frac{q(z|x)}{P_{\theta }(z|x)})dz}} \\ \ge {\int }_{z}q(z|x)log(\frac{P_{\theta }(z,x)}{q(z|x)})dz \\ =E_{q(z|x)}[log\frac{P_{\theta }(x,z)}{q(z|x)}] \end{gathered}$$
上式最终的结果就是VAE的lower bound， 通过最大化$E_{q(z|x)}[log\frac{P_{\theta }(x,z)}{q(z|x)}]$就能实现对$logP(x)$的最大化。

4. 扩散模型计算$P_{\theta }(x)$的过程（扩散过程）

​ 扩散模型计算$P_{\theta }(x)$的过程是逆扩散过程，同样是从标准高斯噪声中采样一个正态分布$x_T$，然后通过去噪网络去掉部分噪声产生$x_{T-1}$，之后再重复上述操作，直至恢复到最终的图像$x_0$，整个逆扩散过程是一个循环迭代的过程。

图5 扩散模型的逆扩散过程

​ 扩散模型计算$P_{\theta }(x)$的过程如下所示：
$$P_{\theta }(x_0)={\int }_{x_1:x_T}P(x_T)P_{\theta }(x_{T-1}|x_T)...P_{\theta }(x_{t-1}|x_t)...P_{\theta }(x_0|x_1)d{x}_1:x_T\text{\hspace{1em}(4.1)}$$
从正态分布中随机采样一个噪声数据$P(x_T)$，然后输入到去噪网络中进行逐步迭代产生$P_{\theta }(x_{t-1}|x_t)$，将$P_{\theta }(x_{t-1}|x_t)$代入上式进行迭代直至最终得到结果$P_{\theta }(x_0)$。

图6 VAE和DDPM最小目标函数的区别

​ 在表示变量上VAE的$q(z|x)$表示在给定输入数据$x$的情况下得到输出数据$z$的概率$q(z|x)$，在DDPM中用不断迭代的方式产生$x_1:x_T$；VAE中的在输入数据$x$在VAE中用$x_0$表示。从产生方式上VAE通过一步编码的方式产生最终的结果，而扩散模型通过前向扩散过程产生每一步的噪声图像然后再通过逆扩散过程去掉噪声。在扩散模型中$q(\cdot )$与前向过程有关$P_{\theta }$与逆扩散过程有关。其中$q(x_1:x_T|x_0)$的计算方式如下所示：
$$q(x_1:x_T|x_0)=q(x_1|x_0)q(x_2|x_1)...q(x_T|x_{T-1})\text{\hspace{1em}(4.2)}$$
拆分到每一步就是计算$q(x_t|x_{t-1})$的值。对比VAE和DDPM的目标函数，忽略变量表示和求取方法上的差异，两者在优化目标上是一致的，或者更进一步认为DDPM将优化目标分成$T$时间步来进行，而每一步与VAE的目标是一致的。对于扩散模型的优化目标:
$$log{P}_{\theta }(x)\ge E_{q(x_1:x_T|x_0)}log\frac{P_{\theta }(x_0:x_T)}{q(x_1:x_T|x_0)}\text{\hspace{1em}(4.3)}$$
其中$x_0$是从真实数据集中采集到的图像，$x_T$是在最好一个时间步增加噪声后产生的图像，最终图像近似于标准的高斯噪声分布图像。

​ 在前向扩散的过程中，$x_t$和$x_{t-1}$的关系可以用下图表示，即$x_t$是在$x_{t-1}$的基础上和随机采样得到的噪声加权求和得到。其中${\beta }_1,{\beta }_2,...,{\beta }_T$是事先确定好的，在每一步$t$中确定图像和噪声之间的加权系数。

即：
$$q(x_t|x_{t-1})=\sqrt{1-{\beta }_t}{x}_{t-1}+\sqrt{{\beta }_t}ϵϵ\sim N(0,I)\text{\hspace{1em}(4.4)}$$
那么如何计算$q(x_t|x_0)$？按照计算$q(x_t|x_{t-1})$的方式，可以通过逐步迭代的方式计算得到$q(x_t|x_0)$，用图示的方式即按照下图中的方式得到，即先由原始图像$x_0$通过随机采样高斯噪声叠加的方式得到$x_1$，然后再次随机采样高斯噪声，与上一步骤产生的$x_1$叠加得到$x_2$，按照上述方式最终得到$x_t$。

​ 上述迭代的方式能够得到$q(x_t|x_0)$，但是也可以通过直接计算一步得到$q(x_t|x_0)$。再迭代过程中，每一步的加权系数${\beta }_1,{\beta }_2,...,{\beta }_T$是已知的，可以将第2步产生的$x_1$，代入到第2步中。每次产生$x_t$的过程相当于是对$x_{t-1}$产生的图像与采样的高斯噪声加权求和的过程，其在迭代过程中的系数可以通过累乘的方式得到。

标准正态分布的随机采样也都是独立的过程，两次从高斯分布采样的过程可以简化为一次采样过程，然后乘以合并后的系数:

最终只通过一步计算就能得到的结果如下图所示，

为了简化在计算过程中令$a_t=1-{\beta }_t,{\bar{a}}_t=a_1{a}_2...a_t$，最终:
$$\begin{gathered} q(x_t|x_0)=(\sqrt{1-{\beta }_1}...\sqrt{1-{\beta }_t})x_0+\sqrt{1-(1-{\beta }_1)...(1-{\beta }_t)}ϵ \\ =\sqrt{{\bar{a}}_t}{x}_0+\sqrt{1-{\bar{a}}_t}ϵ\text{\hspace{1em}(4.5)} \end{gathered}$$
推导过程补充，每次噪声的采样都是独立且同分布于标准高斯噪声$N(0,I)$的，对于独立高斯分布，根据其可加性存在如下性质： $N(0,{\sigma }_1^{2}I)+N(0,{\sigma }_2^{2}I)\sim N(0,({\sigma }_1^2+{\sigma }_2^2)I)$ :
$$\begin{gathered} x_t=\sqrt{a_t}{x}_{t-1}+\sqrt{1-a_t}{ϵ}_{t-1};where{ϵ}_{t-1},{ϵ}_{t-2},..\sim N(0,I) \\ =\sqrt{a_t}(\sqrt{a_{t-1}}{x}_{t-2}+\sqrt{1-a_{t-1}}{ϵ}_{t-2})+\sqrt{1-a_t}{ϵ}_{t-1} \\ =\sqrt{a_t{a}_{t-1}}{x}_{t-2}+\sqrt{{\sqrt{a_t-a_t{a}_{t-1}}}^2+{\sqrt{1-a_t}}^2}{\overline{ϵ}}_{t-2} \\ =\sqrt{a_t{a}_{t-1}}{x}_{t-2}+\sqrt{1-a_t{a}_{t-1}}{\overline{ϵ}}_{t-2}独立高斯分布的可加性(({\overline{ϵ}}_{t-2}={ϵ}_{t-1}+{ϵ}_{t-2}) \\ =\sqrt{a_t{a}_{t-1}}{x}_{t-2}+\sqrt{1-a_t{a}_{t-1}}{\overline{ϵ}}_{t-2} \\ =... \\ =\sqrt{{\bar{a}}_t}{x}_0+\sqrt{1-{\bar{a}}_t}ϵ \\ {x}_t=\sqrt{a_t}{x}_{t-1}+\sqrt{1-a_t}{ϵ}_{t-1};where{ϵ}_{t-1},{ϵ}_{t-2},..\sim N(0,I) \\ =\sqrt{a_t}(\sqrt{a_{t-1}}{x}_{t-2}+\sqrt{1-a_{t-1}}{ϵ}_{t-2})+\sqrt{1-a_t}{ϵ}_{t-1} \\ =\sqrt{a_t{a}_{t-1}}{x}_{t-2}+\sqrt{{\sqrt{a_t-a_t{a}_{t-1}}}^2+{\sqrt{1-a_t}}^2}{\overline{ϵ}}_{t-2} \\ =\sqrt{a_t{a}_{t-1}}{x}_{t-2}+\sqrt{1-a_t{a}_{t-1}}{\overline{ϵ}}_{t-2}独立高斯分布的可加性(({\overline{ϵ}}_{t-2}={ϵ}_{t-1}+{ϵ}_{t-2}) \\ =\sqrt{a_t{a}_{t-1}}{x}_{t-2}+\sqrt{1-a_t{a}_{t-1}}{\overline{ϵ}}_{t-2} \\ =... \\ =\sqrt{{\bar{a}}_t}{x}_0+\sqrt{1-{\bar{a}}_t}ϵ \end{gathered}$$

5. 扩散模型的逆扩散过程（目标函数推导）

​ 在前面的推导过程中 :

(1) 首先确定了图像生成模型的总体目标是让生成的图像概率分布与真实图像的概率分布相近，用KL散度刻画可以写成$argmi{n}_{\theta }KL(P_{data}||P_{\theta })$;

(2) 对KL散度进行拆解，将优化目标$argmi{n}_{\theta }KL(P_{data}||P_{\theta })$转换成 $argma{x}_{\theta }{\prod }_{i=1}^m{P}_{\theta }(x^i)$，进一步推导出等价于每一项$log{P}_{\theta }(x)$最大。

(3) 推导VAE的lower bound，将每一项的$log{P}_{\theta }(x)$最大转换成优化目标的最大化下界$E_{q(z|x)}[log\frac{P_{\theta }(x,z)}{q(z|x)}]$；

(4) 比较VAE和DDPM的优化目标，DDPM通过时间步$T$分步进行优化，最终将整个优化目标转换为
$E_{q(x_1:x_T|x_0)}log\frac{P_{\theta }(x_0:x_T)}{q(x_1:x_T|x_0)}$；

通过上面的梳理，DDPM的优化目标为公式4.3，即
$$log{P}_{\theta }(x)\ge E_{q(x_1:x_T|x_0)}log\frac{P_{\theta }(x_0:x_T)}{q(x_1:x_T|x_0)}\text{\hspace{1em}(4.6)}$$
下面做进一步拆解:

公式里面从$1^{\ast }$到$2^{\ast }$如果从马尔科夫链性质理解的话，那$q(x_t|x_{t-1},x_0)$与$q(x_t|x_{t-1},x_0)$是等价的。

第1项可以忽略，$q$只是一个正向过程，没有可学习的参数；

第2项 对于KL散度的第1个分布$q(x_{t-1}|x_t,x_0)$ ，根据多变量条件概率的链式法则，有：
$$\begin{gathered} q(x_{t-1}|x_t,x_0))=\frac{q(x_{t-1},x_t,x_0)}{q(x_t,x_0)}(3^{\ast }) \\ =\frac{q(x_t|x_{t-1})q(x_{t-1}|x_0)q(x_0)}{q(x_t|x_0)q(x_0)}(4^{\ast }) \\ =\frac{q(x_t|x_{t-1})q(x_{t-1}|x_0)}{q(x_t|x_0)} \end{gathered}$$
这里$(3^{\ast })$到$(4^{\ast })$利用了马尔科夫链的性质，如果满足马尔科夫链性质，由事件A能推出$A->B->C$，那么对于公式:
$$P(A,B,C)=P(C|B,A)P(B,A)=P(C|B,A)P(B|A)P(A)$$
可以写成:
$$P(A,B,C)=P(C|B,A)P(B,A)=P(C|B)P(B|A)P(A)$$
式中根据马尔科夫链的性质，下一状态的概率分布只与当前状态决定，从$B->C$只与B有关，而与A无关，在马尔科夫链的性质下有如下等式成立，即$P(C|B,A)=P(C|B)$。所以从$(3^{\ast })$到$(4^{\ast })$，由:
$$\begin{gathered} q(x_{t-1},x_t,x_0)=q(x_{t-1}|x_t,x_0)q(x_t,x_0)=q(x_{t-1}|x_t,x_0)q(x_t|x_0)q(x_0) \\ =q(x_{t-1}|x_t)q(x_t|x_0)q(x_0)由马尔科夫链性质q(x_{t-1}|x_t,x_0)=q(x_{t-1}|x_t) \end{gathered}$$
以上$q(x_t|x_{t-1})、q(x_{t-1}|x_0)、q(x_t|x_0)$三项都是已知的，并且满足高斯分布，都可以通过扩散过程从$t=0\to t=T$的过程中推导出来，根据4.5式有：
$$q(x_t|x_0)=\sqrt{{\bar{a}}_t}{x}_0+\sqrt{1-{\bar{a}}_t}ϵϵ\sim N(0,I)\text{\hspace{1em}(4.5)}$$
同样可以得到$q(x_{t-1}|x_0)=\sqrt{{\bar{a}}_{t-1}}{x}_0+\sqrt{1-{\bar{a}}_t}ϵϵ\sim N(0,I)$，根据4.4式:
$$\begin{gathered} q(x_t|x_{t-1})=\sqrt{1-{\beta }_t}{x}_{t-1}+\sqrt{{\beta }_t}ϵϵ\sim N(0,I) \\ =\sqrt{a_t}{x}_{t-1}+\sqrt{1-a_t}ϵ \end{gathered}$$
根据高斯分布的性质，可以得到：
$$\begin{gathered} q(x_t|x_{t-1}):x_t\sim N({\sqrt{a}}_t{x}_{t-1},(1-a_t)I) \\ q(x_{t-1}|x_0):x_{t-1}\sim N(\sqrt{{\bar{a}}_{t-1}}{x}_0,(1-{\bar{a}}_{t-1})I) \\ q(x_t|x_0):x_t\sim N(\sqrt{{\bar{a}}_t}{x}_0,(1-{\bar{a}}_t)I) \end{gathered}$$
既然已知$q(x_{t-1}|x_t,x_0)$中对应三项高斯分布的均值和方差就可以将$q(x_{t-1}|x_t,x_0)$对应分布的均值和方差计算出来，存在以下等式符号$a_t=1-{\beta }_t,{\bar{a}}_t={\prod }_{i=1}^T{a}_i$，下式推导过程详细说明:

补充高斯分布的表达式：$p(x)=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(x-u{)}^2}{2{\sigma }^2})=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{1}{2}(\frac{1}{{\sigma }^2}{x}^2-\frac{2u}{{\sigma }^2}x+\frac{u^2}{{\sigma }^2}))$

72->73：将上面三项高斯分布的方差和均值代入表达式；

74->75：整理成高斯分布表达式标准形式，再进一步整理成如下的式子:

$exp(-\frac{1}{2}((\frac{a_t}{{\beta }_t}+\frac{1}{1-{\bar{a}}_{t-1}})x_{t-1}^2-(\frac{2\sqrt{a_t}}{{\beta }_t}{x}_t+\frac{2\sqrt{{\bar{a}}_t-1}}{1-{\bar{a}}_{t-1}})x_0)x_{t-1}+C(x_t,x_0)$

可以观察到如下式子与高斯分布的标准形式是一致的，都包含变量的2次项、1次项和常数项，从这可以证明$q(x_{t-1}|x_t,x_0)$符合高斯分布。

84最终得到的是$q(x_{t-1}|x_t,x_0)$对应高斯分布的均值和方差，其中均值为$\frac{\sqrt{a_t}(1-{\bar{a}}_{t-1})x_t+\sqrt{a_{t-1}}(1-a_t)x_0}{1-{\bar{a}}_t}$，方差为$\frac{(1-a_t)(1-{\bar{a}}_{t-1})}{1-{\bar{a}}_t}$。

最终可以得到$q(x_{t-1}|x_t,x_0)$同样是高斯分布，并且该高斯分布的均值与数据是相关的，但是方差是跟前向扩散过程设定的参数有关，也是固定的。直观上理解，在给定$x_t$和$x_0$的条件下求$x_{t-1}$，其实就是对$x_t$和$x_{t-1}$加权求和，最终求和的系数如下所示。

对于KL散度的第2个分布$P(x_{t-1}|x_t)$已经由上面推导得到，两个高斯分布的KL散度是存在闭式解，如下图方框中的公式所示， 但是梳理扩散模型的整个过程，对于${\sum }_{t=2}^T{D}_{KL}(q(x_{t-1}|x_t,x_0)||p_{\theta }(x_{t-1}|x_t))$，$q(x_{t-1}|x_t,x_0)$是根据设定好均值和方差迭代计算，这里的方差和均值都是固定的；网络需要学习的$p_{\theta }(x_{t-1}|x_t)$方差同样是固定的，只有均值需要学习。

要让两个分布尽量接近，只需求两个分布的均值越接近越好，但是在实际的代码中，作者并没有用生成网络预测均值，而是更进一步进行了化简。

根据前面所述，根据$x_0$和预先设定好的参数，可以得到任意时刻前向扩散得到的图像$x_t$，将$x_t$和时间步$t$输入到去噪网络中，可以直接通过预测均值的方式使得两个分布尽可能的接近。对于均值公式中的$x_0$，由$x_t=\sqrt{{\bar{a}}_t}{x}_0+\sqrt{1-{\bar{a}}_t}ϵ$可以通过变换得到$x_0=\frac{x_t-\sqrt{1-{\bar{a}}_t}ϵ}{\sqrt{{\bar{a}}_t}}$，将$x_0$代入均值的公式中可以得到如下结果：

即最终网络在均值中要预测的值只有噪声$ϵ$，其他项全部是已知的参数，这也是作者最终在算法中给出的公式结果:

第3项 $-log(p_{\theta }(x_0|x_1))$ 作者最终去掉了该项。即在$t=1$时，不添加噪声。

​ 综合上面分析，DDPM的优化目标虽然分成了3项，但是其中两项是无关的，第2项中最关键部分即:
$$\sum _{t=2}^T{D}_{KL}(\underset{前向扩散t时刻分布}{\underbrace{q(x_{t-1}|x_t,x_0)}}||\underset{逆扩散t时刻分布}{\underbrace{p_{\theta }(x_{t-1}|x_t)}})$$

最终变成对前向扩散$ϵ$ 和 逆扩散${ϵ}_{\theta }$同一时刻分布中的噪声最小化。