概览：VAE, GAN, Flow Model 和 Diffusion 的关系（二）：Diffusion Model

Diffusion Model（DDPM）的基本思路

对于隐变量模型给出的基本思路：

$p(x)=\int p(x|z)p(z)\mathrm{d}z$

VAE给出的优化是提高 $p(z)$的采样效率：

1. encoder 用参数化的后验分布模型 $q_{\theta }(z|x)$，直接预测均值$\mu$和方差$\Sigma$，使得 $q_{\theta }(z|x)=N(\mu ,\Sigma )$
2. decoder 将从$q_{\theta }(z|x)$中采样得到的$z$经过参数化的 $p_{\theta }(x|z)$ 生成最后的 $\hat{x}$

diffusion model 的大体思路其实与之类似，但是在diffusion model 中，$q_{\theta }(z|x)$ 所对应的过程不是一步得到的，而是由P步连续变换得来的，即在encoder中：
$$q_{\theta }(z,x_{1:T}|x)=q_{\theta }(z|x_{T-1})\cdot q_{\theta }(x_{T-1}|x_{T-2})\cdots q_{\theta }(x_t|x_{t-1})\cdots q_{\theta }(x_2|x_1)\cdot q_{\theta }(x_1|x)$$
同理，在decoder中有：
$$p_{\theta }(x,x_{1:T}|z)=p_{\theta }(x|x_1)\cdot p_{\theta }(x_1|x_2)\cdots p_{\theta }(x_{t-1}|x_t)\cdots p_{\theta }(x_{T-2}|x_{T-1})\cdot p_{\theta }(x_{T-1}|z)$$
（这种马尔科夫链式的分布加噪过程在某种程度是受非平衡热力学提出的）

其图解如下（符号略有不同，$x$ 变成了 $x_0$ ，$z$ 变成了 $x_T$）：

1. 从右向左是encoder过程，是一个无参数的 $q(x_t|x_{t-1})$ ，即这是一个纯粹人为的过程（比如从原始的清晰图片每次按照高斯分布进行一个映射）。
2. 从左往右是decoder过程，是一个带参数的 $p_{\theta }(x_{t-1}|x_t)$。其并非像VAE那样直接预测 $\hat{x}$ ，而是预测高斯噪声，在decode过程中逐渐减去高斯噪声，还原出清晰的图像。
3. 在diffusion model 中隐变量 $z$ （在图中是 $x_T$）和原始图片的维度是一样大的（但是理论上还是简单的（因为很像高斯噪声））。

Diffusion Model 的 encoder过程

首先定义递增的常量序列${\beta }_t$，满足$0<{\beta }_1<{\beta }_2<\cdots <{\beta }_T<1$
定义观测原图为随机变量$x_0$，然后定义从随机变量$x_{t-1}$到随机变量$x_t$的分布关系为
$$\begin{array}{r}q(x_t|x_{t-1})=\mathcal{N}(x_t;\sqrt{1-{\beta }_t}{x}_{t-1},{\beta }_t)\end{array}$$
即$x_t$是均值$\sqrt{1-{\beta }_t}{x}_{t-1}$且方差为${\beta }_t$ 的高斯分布，用类似重参数分解可以得到

KaTeX parse error: {align} can be used only in display mode.

对于公式(2)有以下一些解释

• $x_{t-1}$和${ϵ}_{t-1}$前面的两个系数平方和等于1
• ${\beta }_t$单调递增且${\beta }_t\in (0,1)$，则可以保证t=0时候方差几乎为0，t=T时方差几乎为1

如果定义

• ${\alpha }_t=1-{\beta }_t$。为了书写方便
• ${\bar{\alpha }}_t={\prod }_{i=1}^t{\alpha }_i$。为了书写方便
• ${\overline{ϵ}}_k\sim \mathcal{N}(0,1)$。代表k个高斯分布合并之后的新高斯分布

那么递推展开可以得到
$$\begin{array}{rl}{x}_t& =\sqrt{{\alpha }_t}{x}_{t-1}+\sqrt{1-{\alpha }_t}{ϵ}_{t-1}\\ & =\sqrt{{\alpha }_t{\alpha }_{t-1}}{x}_{t-2}+\sqrt{1-{\alpha }_t{\alpha }_{t-1}}{\overline{ϵ}}_2\\ & =\cdots \\ & =\sqrt{\overline{{\alpha }_t}}{x}_0+\sqrt{1-\overline{{\alpha }_t}}{\overline{ϵ}}_t\end{array}$$
注意

• 这里用了方差的性质，即两个高斯分布的和还是高斯分布，并且新方差等于这两个高斯分布的方差
• ${\overline{ϵ}}_k$是k个高斯分布合并之后的新高斯分布
• $x_0$和${\overline{ϵ}}_t$前面两个系数的平方和仍然是1

（这几个性质真的好鸡儿巧妙，到底是怎么构造出来的，有什么说法吗）

观察公式(6)里的x_t可以发现

• 随着$t\to T$，$\sqrt{\overline{{\alpha }_t}}\to 0$且$\sqrt{1-\overline{{\alpha }_t}}\to 1$，因此$x_t\to \mathcal{N}(0,1)$，逐渐变成标准高斯分布，极端情况下$x_T=\mathcal{N}(0,1)$
• 不仅$q(x_t|x_{t-1})=\mathcal{N}(\sqrt{1-{\beta }_t}{x}_{t-1},{\beta }_t)$可以直接计算，并且$q(x_t|x_0)=\mathcal{N}(\sqrt{\overline{{\alpha }_t}}{x}_0,1-\overline{{\alpha }_t})$也可以直接计算
• 整个encoder过程的是完全透明的，可以高效地计算中间任意分布$q(x_t|x_0)$的方式

Diffusion Model 的 decoder 过程

扩散过程是将数据噪音化，那么反向过程就是一个去噪的过程，如果我们可以求出反向过程的每一步的真实分布$q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)$，那么从一个随机噪音${\mathbf{x}}_T\sim \mathcal{N}(0,\mathbf{I})$开始，逐渐去噪就能生成一个真实的样本，所以反向过程也就是生成数据的过程。

（打个比方，Diffusion Model 的原理类似于我想让模型学会盖楼，于是我们在模型面前把一栋完整的楼一锤一锤地砸烂成shit，但是每一锤都很小很简单，让模型学会把每一锤恢复，他就能把这一堆shit恢复成一栋楼。这样随便给模型一堆shit，模型就能以此盖一栋楼）

原论文认为，对于encoder过程的每一步 KaTeX parse error: {align} can be used only in display mode. ，当 ${\beta }_t$ 足够小的时候，其逆过程的分布 $q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)$ 也可以近似地看做一个正态分布。（具体的理论证明似乎比较地复杂，暂且按下）

那我们可以做出如下假设，并用神经网络来计算其中的参数：
$$p_{\theta }({\mathbf{x}}_{0:T})=p({\mathbf{x}}_T)\prod _{t=1}^T{p}_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)=\mathcal{N}({\mathbf{x}}_{t-1};{\mathbf{\mu }}_{\theta }({\mathbf{x}}_t,t),{\mathbf{\Sigma }}_{\theta }({\mathbf{x}}_t,t))$$
这里 $p({\mathbf{x}}_T)=\mathcal{N}(0,\mathbf{I})$，而 $p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)$ 为参数化的高斯分布，它们的均值和方差由训练的网络 ${\mathbf{\mu }}_{\theta }({\mathbf{x}}_t,t)$ 和 ${\mathbf{\Sigma }}_{\theta }({\mathbf{x}}_t,t)$ 给出。我们训练扩散的模型实际上就是要训练得到这些模型。我们要用神经网络计算出的这些分布来估计 $q(x_{t-1}|x_t)$ 。

但是实际的分布 $q(x_{t-1}|x_t)$ 是难以处理的，但是加上条件 $x_0$ 的后验分布 $q(x_{t-1}|x_t,x_0)$ 是方便处理的，我们不妨假设：
$$q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)=\mathcal{N}(\tilde{\mathbf{\mu }}({\mathbf{x}}_t,{\mathbf{x}}_0),{\tilde{\beta }}_t\mathbf{I})$$
下面我们对其中的参数进行推导计算如下：

首先，由贝叶斯分布，我们有：
$$q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)=q({\mathbf{x}}_t|{\mathbf{x}}_{t-1},{\mathbf{x}}_0)\frac{q({\mathbf{x}}_{t-1}|{\mathbf{x}}_0)}{q({\mathbf{x}}_t|{\mathbf{x}}_0)}$$
又因为encoder过程符合马尔科夫链特性，我们有 $q(x_t|x_{t-1},x_0)=q(x_t|x_{t-1})=\mathcal{N}({\mathbf{x}}_t;\sqrt{1-{\beta }_t}{\mathbf{x}}_{t-1},{\beta }_t\mathbf{I})$ ， 并且由前面 encoder过程中的推导，我们知道：
$$\begin{gathered} q({\mathbf{x}}_{t-1}|{\mathbf{x}}_0)=\mathcal{N}({\mathbf{x}}_{t-1};\sqrt{{\bar{\alpha }}_{t-1}}{\mathbf{x}}_0,(1-{\bar{\alpha }}_{t-1})\mathbf{I}) \\ q({\mathbf{x}}_t|{\mathbf{x}}_0)=\mathcal{N}({\mathbf{x}}_t;\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0,(1-{\bar{\alpha }}_t)\mathbf{I}) \end{gathered}$$
（其实从这里就可以看出 $q(x_{t-1}|x_t,x_0)$ 是货真价实的高斯分布了）带进原式子可得：
$$\begin{array}{rl}q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)& =q({\mathbf{x}}_t|{\mathbf{x}}_{t-1},{\mathbf{x}}_0)\frac{q({\mathbf{x}}_{t-1}|{\mathbf{x}}_0)}{q({\mathbf{x}}_t|{\mathbf{x}}_0)}\\ & \propto \exp (-\frac{1}{2}(\frac{({\mathbf{x}}_t-\sqrt{{\alpha }_t}{\mathbf{x}}_{t-1}{)}^2}{{\beta }_t}+\frac{({\mathbf{x}}_{t-1}-\sqrt{{\bar{\alpha }}_{t-1}}{\mathbf{x}}_0{)}^2}{1-{\bar{\alpha }}_{t-1}}-\frac{({\mathbf{x}}_t-\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0{)}^2}{1-{\bar{\alpha }}_t}\left)\right)\\ & =\exp (-\frac{1}{2}(\frac{{\mathbf{x}}_t^2-2\sqrt{{\alpha }_t}{\mathbf{x}}_t{\mathbf{x}}_{t-1}+{\alpha }_t{\mathbf{x}}_{t-1}^2}{{\beta }_t}+\frac{{\mathbf{x}}_{t-1}^2-2\sqrt{{\bar{\alpha }}_{t-1}}{\mathbf{x}}_0{\mathbf{x}}_{t-1}+{\bar{\alpha }}_{t-1}{\mathbf{x}}_0^2}{1-{\bar{\alpha }}_{t-1}}-\frac{({\mathbf{x}}_t-\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0{)}^2}{1-{\bar{\alpha }}_t}\left)\right)\\ & =\exp (-\frac{1}{2}((\frac{{\alpha }_t}{{\beta }_t}+\frac{1}{1-{\bar{\alpha }}_{t-1}}){\mathbf{x}}_{t-1}^2-(\frac{2\sqrt{{\alpha }_t}}{{\beta }_t}{\mathbf{x}}_t+\frac{2\sqrt{{\bar{\alpha }}_{t-1}}}{1-{\bar{\alpha }}_{t-1}}{\mathbf{x}}_0){\mathbf{x}}_{t-1}+C({\mathbf{x}}_t,{\mathbf{x}}_0)\left)\right)\end{array}$$
这里的 $C({\mathbf{x}}_t,{\mathbf{x}}_0)$是一个和${\mathbf{x}}_{t-1}$无关的部分，所以省略。根据高斯分布的概率密度函数定义和上述结果，我们可以通过待定系数求出后验分布$q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)$的均值和方差：
$$\begin{array}{rl}{\tilde{\beta }}_t& =1/(\frac{{\alpha }_t}{{\beta }_t}+\frac{1}{1-{\bar{\alpha }}_{t-1}})\\ & =1/(\frac{{\alpha }_t-{\bar{\alpha }}_t+{\beta }_t}{{\beta }_t(1-{\bar{\alpha }}_{t-1})})\\ & =\frac{1-{\bar{\alpha }}_{t-1}}{1-{\bar{\alpha }}_t}\cdot {\beta }_t\\ {\tilde{\mathbf{\mu }}}_t({\mathbf{x}}_t,{\mathbf{x}}_0)& =(\frac{\sqrt{{\alpha }_t}}{{\beta }_t}{\mathbf{x}}_t+\frac{\sqrt{{\bar{\alpha }}_{t-1}}}{1-{\bar{\alpha }}_{t-1}}{\mathbf{x}}_0)/(\frac{{\alpha }_t}{{\beta }_t}+\frac{1}{1-{\bar{\alpha }}_{t-1}})\\ & =(\frac{\sqrt{{\alpha }_t}}{{\beta }_t}{\mathbf{x}}_t+\frac{\sqrt{{\bar{\alpha }}_{t-1}}}{1-{\bar{\alpha }}_{t-1}}{\mathbf{x}}_0)\frac{1-{\bar{\alpha }}_{t-1}}{1-{\bar{\alpha }}_t}\cdot {\beta }_t\\ & =\frac{\sqrt{{\alpha }_t}(1-{\bar{\alpha }}_{t-1})}{1-{\bar{\alpha }}_t}{\mathbf{x}}_t+\frac{\sqrt{{\bar{\alpha }}_{t-1}}{\beta }_t}{1-{\bar{\alpha }}_t}{\mathbf{x}}_0\end{array}$$
可以看到方差是一个定量（扩散过程参数固定），而均值是一个依赖 ${\mathbf{x}}_0$ 和 ${\mathbf{x}}_t$ 的函数。这个分布将会被用于推导扩散模型的优化目标。

Diffusion Model 的优化目标

上面介绍了扩散模型的扩散过程和反向过程，现在我们来从另外一个角度来看扩散模型：如果我们把中间产生的变量看成隐变量的话，那么扩散模型其实是包含T个隐变量的隐变量模型（latent variable model），它可以看成是一个特殊的Hierarchical VAEs:

相比VAE来说，扩散模型的隐变量是和原始数据同维度的，而且encoder（即扩散过程）是固定的。既然扩散模型是隐变量模型，那么我们可以就可以基于变分推断来得到 variational lower bound（VLB，又称ELBO）作为最大化优化目标，这里有：
$$\begin{array}{rl}\log p_{\theta }({\mathbf{x}}_0)& =\log \int p_{\theta }({\mathbf{x}}_{0:T})d{\mathbf{x}}_{1:T}\\ & =\log \int \frac{p_{\theta }({\mathbf{x}}_{0:T})q({\mathbf{x}}_{1:T}|{\mathbf{x}}_0)}{q({\mathbf{x}}_{1:T}|{\mathbf{x}}_0)}d{\mathbf{x}}_{1:T}\\ & \ge {\mathbb{E}}_{q({\mathbf{x}}_{1:T}|{\mathbf{x}}_0)}[\log \frac{p_{\theta }({\mathbf{x}}_{0:T})}{q({\mathbf{x}}_{1:T}|{\mathbf{x}}_0)}]\end{array}$$
（这里最后一步使用了琴生不等式）

对于网络训练来说，我们的训练目标是VLB取负：
$$L=-L_{\text{VLB}}={\mathbb{E}}_{q({\mathbf{x}}_{1:T}|{\mathbf{x}}_0)}[-\log \frac{p_{\theta }({\mathbf{x}}_{0:T})}{q({\mathbf{x}}_{1:T}|{\mathbf{x}}_0)}]={\mathbb{E}}_{q({\mathbf{x}}_{1:T}|{\mathbf{x}}_0)}[\log \frac{q({\mathbf{x}}_{1:T}|{\mathbf{x}}_0)}{p_{\theta }({\mathbf{x}}_{0:T})}]$$
我们对其进行进一步分解可以得到：
$$\begin{array}{rlr}L& ={\mathbb{E}}_{q({\mathbf{x}}_{1:T}|{\mathbf{x}}_0)}\left[\log \frac{q({\mathbf{x}}_{1:T}|{\mathbf{x}}_0)}{p_{\theta }({\mathbf{x}}_{0:T})}\right]& \\ & ={\mathbb{E}}_{q({\mathbf{x}}_{1:T}|{\mathbf{x}}_0)}\left[\log \frac{{\prod }_{t=1}^{T}q({\mathbf{x}}_t|{\mathbf{x}}_{t-1})}{p_{\theta }({\mathbf{x}}_T){\prod }_{t=1}^T{p}_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)}\right]& \\ & ={\mathbb{E}}_{q({\mathbf{x}}_{1:T}|{\mathbf{x}}_0)}[-\log p_{\theta }({\mathbf{x}}_T)+\sum _{t=1}^T\log \frac{q({\mathbf{x}}_t|{\mathbf{x}}_{t-1})}{p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)}]& \\ & ={\mathbb{E}}_{q({\mathbf{x}}_{1:T}|{\mathbf{x}}_0)}[-\log p_{\theta }({\mathbf{x}}_T)+\sum _{t=2}^T\log \frac{q({\mathbf{x}}_t|{\mathbf{x}}_{t-1})}{p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)}+\log \frac{q({\mathbf{x}}_1|{\mathbf{x}}_0)}{p_{\theta }({\mathbf{x}}_0|{\mathbf{x}}_1)}]& \\ & ={\mathbb{E}}_{q({\mathbf{x}}_{1:T}|{\mathbf{x}}_0)}[-\log p_{\theta }({\mathbf{x}}_T)+\sum _{t=2}^T\log \frac{q({\mathbf{x}}_t|{\mathbf{x}}_{t-1},{\mathbf{x}}_0)}{p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)}+\log \frac{q({\mathbf{x}}_1|{\mathbf{x}}_0)}{p_{\theta }({\mathbf{x}}_0|{\mathbf{x}}_1)}]& \text{ ;use }q({\mathbf{x}}_t|{\mathbf{x}}_{t-1},{\mathbf{x}}_0)=q({\mathbf{x}}_t|{\mathbf{x}}_{t-1})\\ & ={\mathbb{E}}_{q({\mathbf{x}}_{1:T}|{\mathbf{x}}_0)}[-\log p_{\theta }({\mathbf{x}}_T)+\sum _{t=2}^T\log (\frac{q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)}{p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)}\cdot \frac{q({\mathbf{x}}_t|{\mathbf{x}}_0)}{q({\mathbf{x}}_{t-1}|{\mathbf{x}}_0)})+\log \frac{q({\mathbf{x}}_1|{\mathbf{x}}_0)}{p_{\theta }({\mathbf{x}}_0|{\mathbf{x}}_1)}]& \text{ ;use Bayes’ Rule }\\ & ={\mathbb{E}}_{q({\mathbf{x}}_{1:T}|{\mathbf{x}}_0)}[-\log p_{\theta }({\mathbf{x}}_T)+\sum _{t=2}^T\log \frac{q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)}{p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)}+\sum _{t=2}^T\log \frac{q({\mathbf{x}}_t|{\mathbf{x}}_0)}{q({\mathbf{x}}_{t-1}|{\mathbf{x}}_0)}+\log \frac{q({\mathbf{x}}_1|{\mathbf{x}}_0)}{p_{\theta }({\mathbf{x}}_0|{\mathbf{x}}_1)}]& \\ & ={\mathbb{E}}_{q({\mathbf{x}}_{1:T}|{\mathbf{x}}_0)}[-\log p_{\theta }({\mathbf{x}}_T)+\sum _{t=2}^T\log \frac{q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)}{p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)}+\log \frac{q({\mathbf{x}}_T|{\mathbf{x}}_0)}{q({\mathbf{x}}_1|{\mathbf{x}}_0)}+\log \frac{q({\mathbf{x}}_1|{\mathbf{x}}_0)}{p_{\theta }({\mathbf{x}}_0|{\mathbf{x}}_1)}]& \\ & ={\mathbb{E}}_{q({\mathbf{x}}_{1:T}|{\mathbf{x}}_0)}[\log \frac{q({\mathbf{x}}_T|{\mathbf{x}}_0)}{p_{\theta }({\mathbf{x}}_T)}+\sum _{t=2}^T\log \frac{q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)}{p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)}-\log p_{\theta }({\mathbf{x}}_0|{\mathbf{x}}_1)]& \\ & ={\mathbb{E}}_{q({\mathbf{x}}_T|{\mathbf{x}}_0)}\left[\log \frac{q({\mathbf{x}}_T|{\mathbf{x}}_0)}{p_{\theta }({\mathbf{x}}_T)}\right]+\sum _{t=2}^T{\mathbb{E}}_{q({\mathbf{x}}_t,{\mathbf{x}}_{t-1}|{\mathbf{x}}_0)}\left[\log \frac{q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)}{p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)}\right]-{\mathbb{E}}_{q({\mathbf{x}}_1|{\mathbf{x}}_0)}[\log p_{\theta }({\mathbf{x}}_0|{\mathbf{x}}_1)]& \\ & ={\mathbb{E}}_{q({\mathbf{x}}_T|{\mathbf{x}}_0)}\left[\log \frac{q({\mathbf{x}}_T|{\mathbf{x}}_0)}{p_{\theta }({\mathbf{x}}_T)}\right]+\sum _{t=2}^T{\mathbb{E}}_{q({\mathbf{x}}_t|{\mathbf{x}}_0)}[q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)\log \frac{q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)}{p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)}]-{\mathbb{E}}_{q({\mathbf{x}}_1|{\mathbf{x}}_0)}[\log p_{\theta }({\mathbf{x}}_0|{\mathbf{x}}_1)]& \\ & =\underset{L_T}{\underbrace{D_{\text{KL}}(q({\mathbf{x}}_T|{\mathbf{x}}_0)\parallel p_{\theta }({\mathbf{x}}_T))}}+\sum _{t=2}^T\underset{L_{t-1}}{\underbrace{{\mathbb{E}}_{q({\mathbf{x}}_t|{\mathbf{x}}_0)}[D_{\text{KL}}(q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)\parallel p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t))]}}-\underset{L_0}{\underbrace{{\mathbb{E}}_{q({\mathbf{x}}_1|{\mathbf{x}}_0)}\log p_{\theta }({\mathbf{x}}_0|{\mathbf{x}}_1)}}& \end{array}$$
可以看到最终的优化目标共包含 $T+1$ 项，其中 $L_0 $ 可以看成是原始数据重建，优化的是负对数似然，$L_0$ 可以用估计的$\mathcal{N}({\mathbf{x}}_0;{\mathbf{\mu }}_{\theta }({\mathbf{x}}_1,1)$, ${\mathbf{\Sigma }}_{\theta }({\mathbf{x}}_1,1))$来专门构建一个离散化的decoder来计算：
$$\begin{gathered} p_{\theta }({\mathbf{x}}_0|{\mathbf{x}}_1)=\prod _{i=1}^D{\int }_{{\delta }_{-}(x_0^i)}^{{\delta }_{+}(x_0^i)}\mathcal{N}(x;{\mu }_{\theta }^i(x_1,1),{\Sigma }_{\theta }^i(x_1,1))\mathrm{d}x \\ {\delta }_{+}(x)=\{\begin{array}{ll}\infty & \text{ if }x=1\\ x+\frac{1}{255}& \text{ if }x<1\end{array} \\ {\delta }_{+}(x)=\{\begin{array}{ll}-\infty & \text{ if }x=-1\\ x-\frac{1}{255}& \text{ if }x>-1\end{array} \end{gathered}$$
（其中 $i$ 是对像素点的编号），相当于计算由 ${\mathbf{x}}_1$ 大致生成 ${\mathbf{x}}_0$ 的所有像素的概率。

而$L_T$计算的是最后得到的噪音的分布和先验分布的KL散度，这个KL散度没有训练参数，近似为0，因为先验$p({\mathbf{x}}_T)=\mathcal{N}(0,\mathbf{I})$而扩散过程最后得到的随机噪音$q({\mathbf{x}}_T|{\mathbf{x}}_0)$也近似为$\mathcal{N}(0,\mathbf{I})$；而$L_{t-1}$则是计算的是估计分布$p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)$和真实后验分布$q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)$的KL散度，这里希望我们估计的去噪过程和依赖真实数据的去噪过程近似一致。

DDPM对 $p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)$ 做了近一步简化，采用固定的方差：${\mathbf{\Sigma }}_{\theta }({\mathbf{x}}_t,t)={\sigma }_t^2\mathbf{I}$，这里的${\sigma }_t^2$可以设定为${\beta }_t$或者${\tilde{\beta }}_t$（这其实是两个极端，分别是上限和下限，也可以采用可训练的方差，见论文Improved Denoising Diffusion Probabilistic Models和Analytic-DPM: an Analytic Estimate of the Optimal Reverse Variance in Diffusion Probabilistic Models）。这里假定${\sigma }_t^2={\tilde{\beta }}_t$，那么：
$$q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)=\mathcal{N}({\mathbf{x}}_{t-1};\tilde{\mathbf{\mu }}({\mathbf{x}}_t,{\mathbf{x}}_0),{\sigma }_t^2\mathbf{I})p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)=\mathcal{N}({\mathbf{x}}_{t-1};{\mathbf{\mu }}_{\theta }({\mathbf{x}}_t,t),{\sigma }_t^2\mathbf{I})$$
对于两个高斯分布的KL散度，其计算公式为（具体推导见生成模型之VAE）：
$$\text{KL}(p_1||p_2)=\frac{1}{2}(\text{tr}({\mathbf{\Sigma }}_2^{-1}{\mathbf{\Sigma }}_1)+({\mathbf{\mu }}_2-{\mathbf{\mu }}_1{)}^{\top }{\mathbf{\Sigma }}_2^{-1}({\mathbf{\mu }}_2-{\mathbf{\mu }}_1)-n+\log \frac{\det ({\mathbf{\Sigma }}_2)}{\det ({\mathbf{\Sigma }}_1)})$$
那么就有：
$$\begin{array}{rl}{D}_{\text{KL}}(q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)\parallel p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t))& =D_{\text{KL}}(\mathcal{N}({\mathbf{x}}_{t-1};\tilde{\mathbf{\mu }}({\mathbf{x}}_t,{\mathbf{x}}_0),{\sigma }_t^2\mathbf{I})\parallel \mathcal{N}({\mathbf{x}}_{t-1};{\mathbf{\mu }}_{\theta }({\mathbf{x}}_t,t),{\sigma }_t^2\mathbf{I}))\\ & =\frac{1}{2}(n+\frac{1}{{\sigma }_t^2}\Vert {\tilde{\mathbf{\mu }}}_t({\mathbf{x}}_t,{\mathbf{x}}_0)-{\mathbf{\mu }}_{\theta }({\mathbf{x}}_t,t){\Vert }^2-n+\log 1)\\ & =\frac{1}{2{\sigma }_t^2}\Vert {\tilde{\mathbf{\mu }}}_t({\mathbf{x}}_t,{\mathbf{x}}_0)-{\mathbf{\mu }}_{\theta }({\mathbf{x}}_t,t){\Vert }^2\end{array}$$
那么优化目标L_{t-1}即为：
$$L_{t-1}={\mathbb{E}}_{q({\mathbf{x}}_t|{\mathbf{x}}_0)}[\frac{1}{2{\sigma }_t^2}\Vert {\tilde{\mathbf{\mu }}}_t({\mathbf{x}}_t,{\mathbf{x}}_0)-{\mathbf{\mu }}_{\theta }({\mathbf{x}}_t,t){\Vert }^2]$$
从上述公式来看，我们其实是在希望网络学习到的均值 ${\mathbf{\mu }}_{\theta }({\mathbf{x}}_t,t)$和后验分布的均值$\tilde{\mathbf{\mu }}({\mathbf{x}}_t,{\mathbf{x}}_0)$尽可能地一致。不过DDPM发现，预测均值并不是最好的选择。根据前面得到的扩散过程的特性，我们有：
$${\mathbf{x}}_{\mathbf{t}}({\mathbf{x}}_0,ϵ)=\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0+\sqrt{1-{\bar{\alpha }}_t}ϵ\text{ where }ϵ\sim \mathcal{N}(0,\mathbf{I})$$
将这个公式带入上述优化目标（注意这里的损失我们加上了对 \mathbf{x}_0 的数学期望），可以得到：
$$\begin{array}{rl}{L}_{t-1}& ={\mathbb{E}}_{{\mathbf{x}}_0}\left({\mathbb{E}}_{q({\mathbf{x}}_t|{\mathbf{x}}_0)}\right[\frac{1}{2{\sigma }_t^2}\Vert {\tilde{\mathbf{\mu }}}_t({\mathbf{x}}_t,{\mathbf{x}}_0)-{\mathbf{\mu }}_{\theta }({\mathbf{x}}_t,t){\Vert }^2\left]\right)\\ & ={\mathbb{E}}_{{\mathbf{x}}_0,ϵ\sim \mathcal{N}(0,\mathbf{I})}[\frac{1}{2{\sigma }_t^2}\Vert {\tilde{\mathbf{\mu }}}_t({\mathbf{x}}_{\mathbf{t}}({\mathbf{x}}_0,ϵ),\frac{1}{\sqrt{{\bar{\alpha }}_t}}({\mathbf{x}}_{\mathbf{t}}({\mathbf{x}}_0,ϵ)-\sqrt{1-{\bar{\alpha }}_t}ϵ))-{\mathbf{\mu }}_{\theta }({\mathbf{x}}_{\mathbf{t}}({\mathbf{x}}_0,ϵ),t){\Vert }^2]\\ & ={\mathbb{E}}_{{\mathbf{x}}_0,ϵ\sim \mathcal{N}(0,\mathbf{I})}[\frac{1}{2{\sigma }_t^2}\Vert (\frac{\sqrt{{\alpha }_t}(1-{\bar{\alpha }}_{t-1})}{1-{\bar{\alpha }}_t}{\mathbf{x}}_t({\mathbf{x}}_0,ϵ)+\frac{\sqrt{{\bar{\alpha }}_{t-1}}{\beta }_t}{1-{\bar{\alpha }}_t}\frac{1}{\sqrt{{\bar{\alpha }}_t}}({\mathbf{x}}_{\mathbf{t}}({\mathbf{x}}_0,ϵ)-\sqrt{1-{\bar{\alpha }}_t}ϵ))-{\mathbf{\mu }}_{\theta }({\mathbf{x}}_{\mathbf{t}}({\mathbf{x}}_0,ϵ),t){\Vert }^2]\\ & ={\mathbb{E}}_{{\mathbf{x}}_0,ϵ\sim \mathcal{N}(0,\mathbf{I})}[\frac{1}{2{\sigma }_t^2}\Vert \frac{1}{\sqrt{{\alpha }_t}}({\mathbf{x}}_t({\mathbf{x}}_0,ϵ)-\frac{{\beta }_t}{\sqrt{1-{\bar{\alpha }}_t}}ϵ)-{\mathbf{\mu }}_{\theta }({\mathbf{x}}_{\mathbf{t}}({\mathbf{x}}_0,ϵ),t){\Vert }^2]\end{array}$$
近一步地，我们对${\mathbf{\mu }}_{\theta }({\mathbf{x}}_{\mathbf{t}}({\mathbf{x}}_0,ϵ),t)$也进行重参数化，变成：
$${\mathbf{\mu }}_{\theta }({\mathbf{x}}_{\mathbf{t}}({\mathbf{x}}_0,ϵ),t)=\frac{1}{\sqrt{{\alpha }_t}}({\mathbf{x}}_t({\mathbf{x}}_0,ϵ)-\frac{{\beta }_t}{\sqrt{1-{\bar{\alpha }}_t}}{ϵ}_{\theta }({\mathbf{x}}_t({\mathbf{x}}_0,ϵ),t\left)\right)$$
这里的${ϵ}_{\theta }$是一个基于神经网络的拟合函数，这意味着我们由原来的预测均值而换成预测噪音$ϵ$。我们将上述等式带入优化目标，可以得到：
$$\begin{array}{rl}{L}_{t-1}& ={\mathbb{E}}_{{\mathbf{x}}_0,ϵ\sim \mathcal{N}(0,\mathbf{I})}[\frac{1}{2{\sigma }_t^2}\Vert \frac{1}{\sqrt{{\alpha }_t}}({\mathbf{x}}_t({\mathbf{x}}_0,ϵ)-\frac{{\beta }_t}{\sqrt{1-{\bar{\alpha }}_t}}ϵ)-{\mathbf{\mu }}_{\theta }({\mathbf{x}}_{\mathbf{t}}({\mathbf{x}}_0,ϵ),t){\Vert }^2]\\ & ={\mathbb{E}}_{{\mathbf{x}}_0,ϵ\sim \mathcal{N}(0,\mathbf{I})}[\frac{{\beta }_t^2}{2{\sigma }_t^2{\alpha }_t(1-{\bar{\alpha }}_t)}\Vert ϵ-{ϵ}_{\theta }({\mathbf{x}}_t({\mathbf{x}}_0,ϵ),t\left){\Vert }^2\right]\\ & ={\mathbb{E}}_{{\mathbf{x}}_0,ϵ\sim \mathcal{N}(0,\mathbf{I})}[\frac{{\beta }_t^2}{2{\sigma }_t^2{\alpha }_t(1-{\bar{\alpha }}_t)}\Vert ϵ-{ϵ}_{\theta }(\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0+\sqrt{1-{\bar{\alpha }}_t}ϵ,t\left){\Vert }^2\right]\end{array}$$
DDPM近一步对上述目标进行了简化，即去掉了权重系数，变成了：
$$L_{t-1}^{\text{simple}}={\mathbb{E}}_{{\mathbf{x}}_0,ϵ\sim \mathcal{N}(0,\mathbf{I})}[\Vert ϵ-{ϵ}_{\theta }(\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0+\sqrt{1-{\bar{\alpha }}_t}ϵ,t\left){\Vert }^2\right]$$
这里的t在[1, T]范围内取值（如前所述，其中取1时对应L_0）。由于去掉了不同t的权重系数，所以这个简化的目标其实是VLB优化目标进行了reweight。从DDPM的对比实验结果来看，预测噪音比预测均值效果要好，采用简化版本的优化目标比VLB目标效果要好。