Score-based Generative Modeling through Stochastic Differenctial Equations

Score-based Generative Modeling through Stochastic Differenctial Equations

本文是扩散模型/基于分数的生成模型领域最重要的研究工作之一，提出了连续 SDE 形式的生成模型，将之前的都是以噪声扰动为核心思想的 SMLD 和 DDPM 都统一在 SDE 形式下。并指出了与 SDE 对应的 ODE 形式，以及其在精确似然计算、图像编辑、加速采样等方面的优良性质。极大地启发了后来的工作。

背景

本节首先回顾之前的两个生成模型：SMLD 和 DDPM，他们的核心思想都是：噪声扰动。

SMLD

记 $p_{\sigma }(\tilde{\mathbf{x}}|\mathbf{x}):=\mathcal{N}(\tilde{\mathbf{x}};\mathbf{x},{\sigma }^2\mathbf{I})$ 为扰动核，而 $p_{\sigma }(\tilde{\mathbf{x}}):=\int p_{\text{data}}(\mathbf{x})p_{\sigma }(\tilde{\mathbf{x}}|\mathbf{x})d\mathbf{x}$，其中 $p_{\text{data}}(\mathbf{x})$ 表示数据分布。另外有一组正值噪声尺度： ${\sigma }_{\text{min}}={\sigma }_1<{\sigma }_2<\cdots <{\sigma }_N={\sigma }_{\text{max}}$，一般来说 ${\sigma }_{\text{min}}$ 需要足够小，使得噪声最小的分布近似于数据分布 $p_{{\sigma }_{\text{min}}}(\mathbf{x})\approx p_{\text{data}}(\mathbf{x})$，而 ${\sigma }_{\text{max}}$ 需要足够大，使得最终加最大噪声的分布近似于纯噪声 $p_{{\sigma }_{\text{max}}}(\mathbf{x})\approx \mathcal{N}(\mathbf{x},0.{\sigma }_{\text{max}}^2\mathbf{I})$。Song 等人提出训练一个噪声条件得分网络（Noise Condition Score Network，NCSN）${\mathbf{s}}_{\theta }(\mathbf{x},\sigma )$ 来进行图像生成，其训练的目标函数为加权的去噪得分匹配（weighted sum of denoising score matching）：
$${\theta }^{\ast }=\arg \underset{\theta }{\min }\sum _{i=1}^N{\sigma }_i^2{\mathbb{E}}_{p_{\text{data}}(\mathbf{x})}{\mathbb{E}}_{p_{{\sigma }_i}(\tilde{\mathbf{x}}|\mathbf{x})}[||{\mathbf{s}}_{\theta }(\tilde{\mathbf{x}},{\sigma }_i)-{\nabla }_{\tilde{\mathbf{x}}}\log p_{{\sigma }_i}(\tilde{\mathbf{x}}|\mathbf{x})|{|}_2^2]$$
如果有足够多的数据和足够强的模型，我们能得到最优的 score based model ${\mathbf{s}}_{{\theta }^{\ast }}(\mathbf{x},\sigma )$ ，来准确估计所有的加噪等级 σ ∈ { σ i } i = 1 N \sigma\in\{\sigma_i\}^N_{i=1} σ∈{σi​}i=1N​ 下加噪分布 $p_{{\sigma }_i}(\mathbf{x})$ 的得分 ${\nabla }_{\mathbf{x}}\log p_{\sigma }(\mathbf{x})$。

采样时，我们对每个噪声分布 $p_{{\sigma }_i}(\mathbf{x})$ 执行 $M$ 步朗之万 MCMC 采样：
$${\mathbf{x}}_i^m={\mathbf{x}}_i^{m-1}+{ϵ}_i{\mathbf{s}}_{{\theta }^{\ast }}({\mathbf{x}}_i^{m-1},{\sigma }_i)+\sqrt{2{ϵ}_i}{\mathbf{z}}_i^m,m=1,2,\dots ,M$$
其中 ${ϵ}_i>0$ 是步长，${\mathbf{z}}_i^m$ 服从标准高斯分布。上述过程从 $i=N$ 到 $i=1$ 迭代执行，第一次朗之万采样的初始值从纯噪声分布中 $p_{\text{data}}(\mathbf{x})$ 中采样得到 ${\mathbf{x}}_N^0\sim \mathcal{N}(\mathbf{x};0,{\sigma }_{\text{max}}^2\mathbf{I})$，后续每次采样的取初始值则取前一次朗之万采样的最终步结果，即${\mathbf{x}}_i^0={\mathbf{x}}_{i+1}^M,i<N$。当对所有 $i$ 有 $M\to \infty ,{ϵ}_i\to 0$ 时，最终的采样结果 ${\mathbf{x}}_1^M$ （在一定条件下）即大致服从数据分布 $p_{{\sigma }_{\text{min}}}(\mathbf{x})\approx p_{\text{data}}(\mathbf{x})$。

DDPM

DDPM 考虑了一个正值噪声尺度序列 $0<{\beta }_1,{\beta }_2,\dots ,{\beta }_N<1$。对任意的数据点 ${\mathbf{x}}_0\sim p_{\text{data}}(\mathbf{x})$，可以构建一个离散的马尔可夫链 { x 0 , x 1 , … , x N } \{\mathbf{x}_0,\mathbf{x}_1,\dots,\mathbf{x}_N\} {x0​,x1​,…,xN​}，其中每一步是在上一步的基础上添加一定的高斯噪声 $p({\mathbf{x}}_i|{\mathbf{x}}_{i-1})=\mathcal{N}({\mathbf{x}}_i;\sqrt{1-{\beta }_i}{\mathbf{x}}_{i-1},{\beta }_i\mathbf{I})$。根据每一步所加高斯分布的可叠加性，可以直接从 ${\mathbf{x}}_0$ 推得 ${\mathbf{x}}_i$：$p_{{\alpha }_i}({\mathbf{x}}_i|{\mathbf{x}}_0)=\mathcal{N}({\mathbf{x}}_i;\sqrt{{\alpha }_i}{\mathbf{x}}_0,(1-{\alpha }_i)\mathbf{I})$，其中 ${\alpha }_i:={\prod }_{j=1}^i(1-{\beta }_j)$。与 SMLD 类似，我们将加噪扰动后的数据分布表示为 $p_{{\alpha }_i}(\tilde{\mathbf{x}}):=\int p_{\text{data}}(\mathbf{x})p_{{\alpha }_i}(\tilde{\mathbf{x}}|\mathbf{x})d\mathbf{x}$。预设的噪声尺度序列会保证最后一步的数据 ${\mathbf{x}}_N$ 分布大致服从标准高斯分布 $\mathcal{N}(0,\mathbf{I})$。DDPM 训练一个参数化网络来构建反向过程的马尔可夫链 $p_{\theta }({\mathbf{x}}_{i-1}|{\mathbf{x}}_i)=\mathcal{N}({\mathbf{x}}_{i-1};\frac{1}{1-{\beta }_i}({\mathbf{x}}_i+{\beta }_i{\mathbf{s}}_{\theta }({\mathbf{x}}_i,i)),{\beta }_i\mathbf{I})$。训练目标是 ELBO 的一个重加权版本：
$${\theta }^{\ast }=\arg {\text{min}}_{\theta }\sum _{i=1}^N(1-{\alpha }_i){\mathbb{E}}_{p_{\text{data}}(\mathbf{x})}{\mathbb{E}}_{p_{{\alpha }_i}(\tilde{\mathbf{x}}|\mathbf{x})}[||{\mathbf{s}}_{\theta }(\tilde{\mathbf{x}},i)-{\nabla }_{\tilde{\mathbf{x}}}\log p_{{\alpha }_i}(\tilde{\mathbf{x}}|\mathbf{x})|{|}_2^2]$$
在上述目标函数经优化得到最优模型 ${\mathbf{s}}_{{\theta }^{\ast }}(\mathbf{x},i)$，我们可以进行采样。首先随机采样一个标准高斯噪声 ${\mathbf{x}}_N\sim \mathcal{N}(0,\mathbf{I})$，然后通过以下的反向马尔可夫链来进行生图：
$${\mathbf{x}}_{i-1}=\frac{1}{1-{\beta }_i}({\mathbf{x}}_i+{\beta }_i{\mathbf{s}}_{{\theta }^{\ast }}({\mathbf{x}}_i,i))+\sqrt{{\beta }_i}{\mathbf{z}}_i,i=N,N-1,\dots ,1$$
我们将这种方法称为祖先采样（ancestral sampling），因为这类似于是从 graphical model ${\prod }_{i=1}^N{p}_{\theta }({\mathbf{x}}_{i-1}|{\mathbf{x}}_i)$ 中进行祖先采样。这里的公式 3 实际就是 DDPM 原文中的 $L_{\text{simple}}$，写成这种形式是为了形式上与公式 1 看起来更接近。与公式 1 类似，公式 3 也是一种 denoising score matching 的加权和，这意味着，最优模型 ${\mathbf{s}}_{{\theta }^{\ast }}(\mathbf{x},i)$ 也可以估计噪声扰动数据分布的得分 ${\nabla }_{\mathbf{x}}\log p_{{\alpha }_i}(\mathbf{x})$。另外要注意，公式 1、3 中第 $i$ 项的权重，也就是 ${\sigma }_i^2$ 和 $(1-{\alpha }_i)$，都以相同的形式对应于其扰动核：${\sigma }_i^2\propto 1/\mathbb{E}[||{\nabla }_{\mathbf{x}}\log p_{{\sigma }_i}(\tilde{\mathbf{x}}|\mathbf{x})|{|}_2^2]$ 和 $(1-{\alpha }_i)\propto 1/\mathbb{E}[||{\nabla }_{\mathbf{x}}\log p_{{\alpha }_i}(\tilde{\mathbf{x}}|\mathbf{x})|{|}_2^2]$。

连续 SDE 形式的 score based model

上述这些方法成功的关键都是使用多种不同的等级的噪声对数据分布进行扰动。本文提出将这个思想推广到无穷多级的噪声等级，随着噪声的增强，扰动数据的分布按照一个 SDE 进行变化。本文思路的整体框架如下图所示。

使用 SDE 对数据进行扰动

我们的目标是构建一个关于连续时间变量 $t\in [0,T]$ 的扩散过程 { x ( t ) } t = 0 T \{\mathbf{x}(t)\}_{t=0}^T {x(t)}t=0T​ ，一要满足 $\mathbf{x}(0)\sim p_0$，这是我们能从数据分布中采样出的样本；二要满足 $\mathbf{x}(T)\sim p_T$，使得我们有一个便于计算的形式来高效地生成样本。也就是说，需要使得 $p_0$ 是数据分布，$p_T$ 是先验分布。这个扩散过程可以建模为伊藤 SDE 的解：
$$d\mathbf{x}=\mathbf{f}(\mathbf{x},t)dt+g(t)d\mathbf{w}$$
其中 $\mathbf{w}$ 是标准维纳过程（也称为布朗运动），$\mathbf{f}(\cdot ,t):{\mathbb{R}}^d\to {\mathbb{R}}^d$ 是一个向量函数，称为 $\mathbf{x}(t)$ 的漂移系数（drift coefficient），而 $g(\cdot )=\mathbb{R}\to \mathbb{R}$ 是一个标量函数，称为 $\mathbf{x}(t)$ 的扩散系数（diffusion coefficient）。这里为了便于表示假设扩散系数为标量函数，并且与 $\mathbf{x}$ 无关，原文附录 A 中有更一般化的讨论。只要两个系数在状态和时间上全局满足利普希茨条件，这个 SDE 就有唯一解。以下我们记 $\mathbf{x}(t)$ 的概率密度为 $p_t(\mathbf{x})$，记从 $\mathbf{x}(s)$ 到 $\mathbf{x}(t)$ （$0\le s<t\le T$）的转移核为 $p_{st}(\mathbf{x}(t)|\mathbf{x}(s))$。

一般来说，$p_T$ 是一个不含任何数据分布 $p_0$ 相关信息的噪声先验分布，比如一个固定均值和方差的高斯分布。有多种方式（选择不同的漂移系数和扩散系数）来设计式 5 中的 SDE，使其能够将数据分布转换为一个固定的先验分布。后面会基于 SMLD 和 DDPM 介绍他们的连续版本，作为两个 SDE 的例子。

通过反向 SDE 生成样本

从样本 $\mathbf{x}(T)\sim p_T$ 开始，进行反向过程，我们就可以得到生成的数据样本 $\mathbf{x}(0)\sim p_0$。前人的研究结果已经证明，扩散过程的反向过程同样是一个扩散过程，由以下反向时间的 SDE 给出：
$$d\mathbf{x}=[\mathbf{f}(\mathbf{x},t)-g^2(t){\nabla }_{\mathbf{x}}\log p_t(\mathbf{x})]dt+g(t)d\bar{\mathbf{w}}$$
其中 $\bar{\mathbf{w}}$ 是时间反向从 $T$ 到 0 流动的标准维纳过程，$dt$ 是一个无穷小负值。可以看到，在反向 SDE 中，我们唯一未知的就是噪声扰动分布的得分 ${\nabla }_{\mathbf{x}}\log p_t(\mathbf{x})$。只要对于所有时间 $t$，我们都能估计其对应分布的得分，我们就能通过上述反向 SDE 得到 $p_0$ 中的样本。

估计 SDE 中分布的得分

我们可以通过 score matching 训练一个 score based model 来估计分布的得分。为了估计 SDE 中的 ${\nabla }_{\mathbf{x}}\log p_t(\mathbf{x})$，我们可以将公式 1、3 推广到连续时间，训练一个与时间有关的 score based model ${\mathbf{s}}_{\theta }(\mathbf{x},t)$：
θ ∗ = arg ⁡ min ⁡ θ { λ ( t ) E x ( 0 ) E x ( t ) ∣ x ( 0 ) [ ∣ ∣ s θ ( x ( t ) , t ) − ∇ x ( t ) log ⁡ p 0 t ( x ( t ) ∣ x ( 0 ) ) ∣ ∣ 2 2 ] } \theta^*=\arg\min_\theta\{\lambda(t)\mathbb{E}_{\mathbf{x}(0)}\mathbb{E}_{\mathbf{x}(t)|\mathbf{x}(0)}[||\mathbf{s_\theta}(\mathbf{x}(t),t)-\nabla_{\mathbf{x}(t)}\log p_{0t}(\mathbf{x}(t)|\mathbf{x}(0))||_2^2]\} θ∗=argθmin​{λ(t)Ex(0)​Ex(t)∣x(0)​[∣∣sθ​(x(t),t)−∇x(t)​logp0t​(x(t)∣x(0))∣∣22​]}
其中 $\lambda :[0,T]\to {\mathbb{R}}_{>0}$ 是一个正值加权函数，$t$ 从 $[0,T]$ 中均匀采样，$\mathbf{x}(0)\sim p_0(\mathbf{x})$，$\mathbf{x}(t)\sim p_{0t}(\mathbf{x}(t)|\mathbf{x}(0))$。假设有足够多的数据和表达能力足够强的模型，上式可得到最优解，记为 ${\mathbf{s}}_{{\theta }^{\ast }}(\mathbf{x},t)$，这是对得分 ${\nabla }_{\mathbf{x}}\log p_t(\mathbf{x})$ 的准确估计。与 SMLD 和 DDPM 一样，我们一般选择 $\lambda \propto 1/\mathbb{E}[||{\nabla }_{\mathbf{x}(t)}\log p_{0t}(\mathbf{x}(t)|\mathbf{x}(0))|{|}_2^2]$。这里公式 7 用的是 denoising score matching，实际上用 siliced score matching 和 finite-difference score matching 也都可行。

我们一般需要已知转移核 $p_{0t}(\mathbf{x}(t)|\mathbf{x}(0))$ 来高效地求解公式 7。当 $\mathbf{f}(\cdot ,t)$ 是仿射的，其转移核总是一个高斯分布，并且其均值和方差都是有闭式解的。对于更一般的 SDEs，我们可以解 Kolmogorov 前向方程，来得到 $p_{0t}(\mathbf{x}(t)|\mathbf{x}(0))$。或者，我们可以对 SDE 进行模拟，来从 $p_{0t}(\mathbf{x}(t)|\mathbf{x}(0))$ 中进行采样，并将 denoising score matching 替换为 sliced score matching，因为后者可以绕过对 ${\nabla }_{\mathbf{x}(t)}\log p_{0t}(\mathbf{x}(t)|\mathbf{x}(0))$ 的计算。

几个例子：VP、VE 和 sub-VP SDE

之前介绍的 SMLD 和 DDPM 两种方法中使用的噪声扰动，可以看做是两种不同 SDE 的离散化形式。以下进行简要介绍，原文附录 B 介绍了更多细节。

当一共使用 $N$ 个噪声等级，SMLD 的每个扰动核 $p_{{\sigma }_i}(\mathbf{x}|{\mathbf{x}}_0)$ 对应于以下马尔可夫链中 ${\mathbf{x}}_i$ 的分布：
$${\mathbf{x}}_i={\mathbf{x}}_{i-1}+\sqrt{{\sigma }_i^2-{\sigma }_{i-1}^2}{\mathbf{z}}_{i-1},i=1,\dots ,N$$
其中 ${\mathbf{z}}_{i-1}\sim \mathcal{N}(0,\mathbf{I})$，记 ${\sigma }_0=0$ 来简化符号。当 $N\to \infty$ 时， { σ i } i = 1 N \{\sigma_i\}_{i=1}^N {σi​}i=1N​ 就成了一个函数 $\sigma (t)$，${\mathbf{z}}_{i-1}$ 成了 $\mathbf{z}(t)$，马尔可夫链 { x i } i = 1 N \{\mathbf{x}_i\}_{i=1}^N {xi​}i=1N​ 成了一个连续的随机过程 { x ( t ) } t = 0 1 \{\mathbf{x}(t)\}_{t=0}^1 {x(t)}t=01​，它是关于一个连续的时间变量 $t\in [0,1]$ 的函数，而不再是关于离散的整数值 $i$。随机过程 { x ( t ) } t = 0 1 \{\mathbf{x}(t)\}_{t=0}^1 {x(t)}t=01​ 由以下 SDE 给出：
$$d\mathbf{x}=\sqrt{\frac{d[{\sigma }^2(t)]}{dt}}d\mathbf{w}$$
类似地，对于 DDPM 中的扰动核 { p α i ( x ∣ x 0 ) } i = 1 N \{p_{\alpha_i}(\mathbf{x}|\mathbf{x}_0)\}_{i=1}^N {pαi​​(x∣x0​)}i=1N​，其马尔可夫链为：
$${\mathbf{x}}_i=\sqrt{1-{\beta }_i}{\mathbf{x}}_{i-1}+\sqrt{{\beta }_i}{\mathbf{z}}_{i-1},i=1,\dots ,N$$
当 $N\to \infty$ 时，上式收敛为一个 SDE：
$$d\mathbf{x}=-\frac{1}{2}\beta (t)\mathbf{x}dt+\sqrt{{\beta }_t}d\mathbf{w}$$
推导过程详见原文附录。SMLD 和 DDPM 中使用的噪声扰动分别对应于 SDE 方程（9）和（11）的离散化。有趣的是，SDE 方程（9）在 $t\to \infty$ 时是一个方差爆炸的过程，而 SDE 方程（11）在初始分布具有单位方差时，是一个方差固定的 1 的过程。由于这个差异，此后将方程（9）称为方差爆炸（VE）SDE，方程（11）称为方差保持（VP）SDE。

基于 VP SDE，本文提出了一种新的 SDE 形式，其 SDE 方程为：
$$d\mathbf{x}=-\frac{1}{2}\beta (t)\mathbf{x}dt+\sqrt{\beta (t)(1-e^{-2{\int }_0^t\beta (s)ds})}d\mathbf{w}$$
该种形式在似然计算上表现得尤其的好。当使用相同的 $\beta (t)$ 且初始分布相同时，在中间的每一个时间步，该方程的方差总是被 VP SDE bound 住，因此该种形式称为 sub VP SDE。

由于 VE、VP 和 sub-VP SDE 的漂移系数都是仿射的，所以它们的扰动核 $p_{0t}(\mathbf{x}(t)|\mathbf{x}(0))$ 都是高斯分布，有封闭解，因此可以使用 denoising score matching 进行高效地求解。

求解反向 SDE

在训练好关于时间 $t$ 的 score based model ${\mathbf{s}}_{\theta }$ 之后，我们就可以构建出反向 SDE，然后使用数值方法对其进行模拟，从而生成符合数据分布 $p_0$ 的新的样本。

通用的 SDE 数值求解器

数值求解器可以提供 SDE 的近似轨迹，有许多通用的数值方法来解 SDE，例如 Euler-Maruyama 和随机 Runge-Kutta 方法，这些对应于随机动力学的不同离散化。我们可以将它们应用于逆向时间 SDE 以进行样本生成。

DDPM 的采样方法，祖先采样，实际上对应于逆向时间 VP SDE 的一种特殊离散化（详见原文附录 E）。为新的 SDE 推导祖先采样规则可能并不容易。为了解决这个问题，我们提出了逆向扩散采样器（reverse diffusion samplers），它们对逆向时间 SDE 进行离散化的方式与前向过程相同，因此可以在给定前向离散化的情况下直接推导。作者的实验表明，逆向扩散采样器在 CIFAR-10 上对 SMLD 和 DDPM 模型的性能略优于祖先采样。另外注意，DDPM 这种祖先采样同样可用于 SMLD。

predictor-corrector 采样器

不同于常规的 SDE，我们有一些额外的信息可以用来改进数值求解的结果。由于我们有一个 score-based model ${\mathbf{s}}_{\theta }(\mathbf{x},t)\approx {\nabla }_{\mathbf{x}}\log p_t(\mathbf{x})$，所以我们可以使用一些 score-based MCMC 方法，比如 Langevin MCMC 和 HMC，来直接从 $p_t$ 中进行采样，从而对 SDE 数值求解器来对解进行修正。

具体来说，在每一个时间步，SDE 数值求解器给出对下一个时间步样本的估计，扮演预测器（predictor）的角色，然后，score-based MCMC 修正估计样本的边缘分布，扮演修正器（corrector）的角色。这种方法称为 PC 采样器（Predictor-Corrector (PC) Sampler）。PC 采样器可以看作是 SMLD 和 DDPM 采样方法更一般的推广：SMLD 中，可以看作 Predictor 是恒等函数，Corrector 是退火的朗之万动力学采样；DDPM 中，可以看作 Predictor 是祖先采样，Corrector 是恒等函数。

作者测试了 PC 采样器在原离散 SMLD 和 DDPM 目标函数（即公式1、3）上训练出的模型上的采样结果。结果表明 PC 采样器与用固定数量的噪声尺度训练的基于分数的模型能够兼容。下表中对比了不同采样器的性能，其中概率流将在下节中讨论。可以看到，逆向扩散采样器总是优于祖先采样，而仅有校正器的方法（C2000）在相同的计算量下表现不如其他方法（P2000，PC1000）。实际上，为了对应匹配其他采样器的性能，我们需要每个噪声尺度更多的校正器步，因此需要更多的计算。

概率流及其与 Neural ODE 的联系

score based model 使得我们有另一种数值方法来解反向时间 SDE。对于所有的扩散过程，存在一个对应的确定性过程（deterministic process），其轨迹与 SDE 有着相同的边缘概率密度 { p t ( x ) } t = 0 T \{p_t(\mathbf{x})\}_{{t=0}}^T {pt​(x)}t=0T​。这个确定性过程满足如下 ODE：
$$d\mathbf{x}=[\mathbf{f}(\mathbf{x},t)-\frac{1}{2}g(t{)}^2{\nabla }_{\mathbf{x}}\log p_t(\mathbf{x})]dt$$
只要得分已知，这就可以从 SDE 中确定出来。作者将这种 ODE 称为概率流 ODE（Probablity Flow ODE）。当得分函数是通过一个 score-based model，一般来说是一个神经网络，来估计的，这其实就是一个 Neural ODE。

精确似然计算

利用与 Neural ODE 的联系，我们可以通过即时变量变换公式计算方程（13）中的密度。这使得我们能够对任何输入数据计算精确的似然。作者在 CIFAR-10 数据集上测试了的负对数似然（NLLs）的计算，在下表中。我们计算的是对均匀量化数据的对数似然度，并且只与以相同方式评估的模型进行比较（不包括使用变分量化或离散数据评估的模型），除了 DDPM（$L/L_{\text{simple}}$​）的 ELBO 值（带 * 标的）是在离散数据上得出的。主要结论是：（i）对于原 DDPM 模型，我们获得了比ELBO 更好的 bits/dim，因为我们的似然度是精确的；（ii）使用相同的架构，我们用方程（7）中的连续目标函数训练了另一个 DDPM 模型（即DDPM cont.），进一步提高了似然；（iii）sub-VP SDE 的似然比 VP SDE 更高；（iv）使用本文改进的网络架构（即DDPM++ cont.）和sub-VP SDE，甚至可以在没有最大似然训练的情况下，在均匀量化的 CIFAR-10 上达到新的记录 bits/dim 为 2.99。

操纵隐层表示

通过方程（13），我们可以将任何数据点 $\mathbf{x}(0)$ 编码到隐空间 $\mathbf{x}(T)$，解码则可以通过积分相应的反向时间 SDE 的 ODE 来实现。与其他可逆模型如 Neural ODE和 normalizing flows 一样，我们可以操纵这个潜在表示来进行图像编辑，如插值和温度缩放。

唯一可识别的编码

与大多数当前的可逆模型不同，本文 ODE 的编码是唯一可识别的。也就是说，在有足够的训练数据、模型容量和优化精度的情况下，输入的编码由数据分布唯一确定。这是因为前向 SDE，方程（5），没有可训练的参数，其对应的的概率流 ODE，方程（13），在完美估计分数的情况下有相同的轨迹。

高效的采样

与 Neural ODE 一样，我们可以通过解方程（13）从不同的最终条件 $\mathbf{x}(T)\sim p_T$ 来采样 $\mathbf{x}(0)\sim p_0$。使用固定的离散化策略，我们可以生成有不错的样本，特别是当在加上修正器时。使用黑盒的 ODE 求解器不仅可以产生高质量的样本，而且还允许我们明确地在准确性和效率之间进行权衡。通过更大的容差，函数评估的次数可以减少90%以上，而不影响生成样本的视觉质量。

总结

本文首先回顾了两种以噪声扰动为核心思想的生成模型：SMLD 和 DDPM。然后提出连续 SDE 形式下的 score based model，并证明了 SMLD 和 DDPM 实际是 SDE 形式下的不同离散化。然后介绍了用于求解反向 SDE 的 Predictor-Corrector 的采样方法。最后，指出了每个 SDE 都有其对应的 ODE 形式，在 ODE 形式下，有精确似然计算、操纵隐层表示、高效采样等诸多好处。