Score-Based Generative Modeling Through Stochastic Differential Equations (Paper reading)

Score-Based Generative Modeling Through Stochastic Differential Equations

Yang Song, Stanford University, ICLR2021, Cited:723, Code: 无, Paper.

1. 前言

这篇文章是关于一种新的生成建模方法，它通过随机微分方程（SDE）将复杂的数据分布平滑地转换为已知的先验分布。通过逆向时间SDE，可以将先验分布转换回数据分布。这种方法依赖于扰动数据分布的时间相关梯度场（即得分），可以使用神经网络准确估计这些得分，并使用数值SDE求解器生成样本。该框架包含了以前在基于得分的生成建模和扩散概率建模中的方法，并允许新的采样过程和新的建模能力。

2. 方法

2.1 SDE推导

随机微分方程SDE是一种微分方程，其中一个或多个项是随机过程，其解本身也是一个随机过程。SDE用于对股价和利率波动等现象进行建模。推导过程如下，假设我们有一个确定性的微分方程：
$$\begin{array}{c}dx=f(x)dt\end{array}$$
其中，$x$是一个函数，$f$是一个已知的函数。我们可以用欧拉法来离散化这个方程，得到：
$$\begin{array}{c}{x}_{t+\Delta t}-x_t=f(x_t)\Delta t\end{array}$$
其中，$\Delta t$是一个小的时间间隔。如果我们想要在这个方程中加入一些随机性，比如说由于测量误差或者外部干扰等原因，我们可以在右边加上一个噪声项：
$$\begin{array}{c}{x}_{t+\Delta t}-x_t=f(x_t)\Delta t+g(x_t)\sqrt{\Delta t}ϵ\end{array}$$
其中，$g$是一个已知的函数，$ϵ$是一个服从标准正态分布的随机变量。这样，我们就得到了一个离散形式的SDE。如果我们让$\Delta t\to 0$，那么我们就可以得到连续形式的SDE的一般形式：
$$\begin{array}{c}dx=f(x)dt+g(x)d{W}_t\end{array}$$
本身扩散模型就属于一个随机过程，那么用SDE描述扩散过程便是一个自然的事。

2.2 基于SDE的扩散过程

$$\begin{array}{c}dx=f(x,t)dt+g(t)dw\end{array}$$
其中，$f(x,t)$是漂移项，表示确定性的变化；$g(t)dw$是扩散项，表示随机性的变化。$dw$表示维纳过程（也称为布朗运动）的增量。飘逸项是从前一个状态到下一个状态的变化量。扩散项中的$dw$指的是加入的噪声，$g(t)$是加噪的强度。

2.3 基于SDE的扩散重建

一下推导来自B站台UP主VictorYuki，将公式5写为离散形式
$$\begin{array}{c}{x}_{t+\Delta t}=x_t+f(x_t,t)\Delta t+g(t)\sqrt{\Delta t}ϵ\end{array}$$
这里$ϵ\sim N(0,1)$。$x_{t+\Delta t}$在给定$x_t$时的概率分布，当$ϵ$是一个标准正态随机变量，在这种情况下，$x_{t+\Delta t}$服从一个正态分布，均值为$x_t+f(x_t,t)\Delta t$，方差为$g^2(t)\Delta tI$。
$$\begin{array}{c}p(x_{t+\Delta t}|x_t)\sim N(f(x_t,t)\Delta t,g^2(t)\sqrt{\Delta t}I)\end{array}$$
要从$t+\Delta t$得到$x_t$，需要求解:
p ( x t ∣ x t + Δ t ) = p ( x t + Δ t ∣ x t ) p ( x t ) / p ( x t + Δ t ) = p ( x t + Δ t ∣ x t ) e x p { l o g p ( x t ) − l o g p ( x t + Δ t ) } \begin{align} p(x_{t}|x_{t+\Delta t})&=p(x_{t+\Delta t}|x_{t})p(x_{t})/p(x_{t+\Delta t})\\ &= p(x_{t+\Delta t}|x_{t})exp\{logp(x_{t})-logp(x_{t+\Delta t})\} \end{align} p(xt​∣xt+Δt​)​=p(xt+Δt​∣xt​)p(xt​)/p(xt+Δt​)=p(xt+Δt​∣xt​)exp{logp(xt​)−logp(xt+Δt​)}​​
先将$logp(x_{t+\Delta t})$泰勒一阶展开得$logp(x_t)+(x_{t+\Delta t}-x_t){\nabla }_{x_t}logp(x_t)+\Delta t\frac{\partial }{\partial t}logp(x_t)$，带入公式9并将其第一项展开为高斯分布形式得：
$$\begin{array}{rl}Eq.(9)& \propto exp\left\{-\frac{{\Vert x_{t+\Delta t}-x_t-f(x_t,t)\Delta t\Vert }_2^2}{2g^2(t)\Delta t}-(x_{t+\Delta t}-x_t){\nabla }_{x_t}logp(x_t)-\Delta t\frac{\partial }{\partial t}logp(x_t)\right\}\\ & =exp\left\{-\frac{{\Vert (x_{t+\Delta t}-x_t)-(f(x_t,t)-g^2(t){\nabla }_{x_t}logp(x_t))\Delta t\Vert }_2^2}{2g^2(t)\Delta t}-\Delta t\frac{\partial }{\partial t}logp(x_t)-\frac{f^2(x_t,t)\Delta t}{g^2(t)}+\frac{(f(x_t,t)-g^2(t){\nabla }_{x_t}logp(x_t){)}^2\Delta t}{2g^2(t)}\right\}\end{array}$$
因为我们是从$x_{t+\Delta t}\to x_t$，因此我们得到的分布应为都是关于时间$t+\Delta t$的，把（11）中的$t$都改写，并当$\Delta t\to 0$时，后面三项：
$$\begin{array}{c}Eq.(11)\approx exp\left\{-\frac{{\Vert (x_{t+\Delta t}-x_t)-(f(x_{t+\Delta t},t+\Delta t)-g^2(t+\Delta t){\nabla }_{x_{t+\Delta t}}logp(x_{t+\Delta t}))\Delta t\Vert }_2^2}{2g^2(t+\Delta t)\Delta t}\right\}\end{array}$$
可以得到$p(x_t|x_{t+\Delta t})$的均值为$(x_{t+\Delta t}-x_t)-(f(x_{t+\Delta t},t+\Delta t)-g^2(t+\Delta t){\nabla }_{x_{t+\Delta t}}logp(x_{t+\Delta t})$，方差为$2g^2(t+\Delta t)\Delta t$。则采样的连续公式为：
$$\begin{array}{c}dx=[f(x,t)-g^2(t){\nabla }_{x_t}logp(x_t)]dt+g(t)dw\end{array}$$
离散的过程表示为：
$$\begin{array}{c}{x}_{t-1}=x_t-[f(x_t,t)-g^2(t){\nabla }_{x_t}logp(x_t)+g(t)ϵ\end{array}$$

2.4 Variance Exploring(VE)and Variation Preserving(VP)

SDE在理论上统一了Score-based Model (NCSN)和DDPM，他们分别对应VE and VP。VE扩散过程在扩散过程的每个步骤增加了更多的噪声，导致潜在变量的分布更广。这有助于探索不同的数据分布模式。VP扩散过程在扩散过程的每个步骤中保持方差恒定，从而导致潜在变量的球形高斯分布。这有助于保存信息并避免模式崩溃。这两种方法都旨在提高扩散模型采样的效率和准确性。然而，VE比VP具有一些优势，例如更好的似然估计、更快的收敛和更低的内存消耗。

方法	Variance Exploring	Variation Preserving
$x_t=$	$x_0+{\sigma }_tϵ$	$\sqrt{\overline{{\alpha }_t}}{x}_0+\sqrt{1-\overline{{\alpha }_t}}ϵ$
$x_{t+1}=$	$x_t+\sqrt{{\sigma }_{t+1}^2-{\sigma }_t^2}ϵ$	$\sqrt{1-{\beta }_{t+1}}{x}_t+\sqrt{{\beta }_{t+1}}ϵ$

我们现在要求公式6中的$f(x_t,t)$和$g(t)$，将公式17和公式21分别与公式6比对，就可求出：
VE：$f(x_t,t)=0$和$g(t)=\frac{d}{dt}{\sigma }_t^2$。
$$\begin{array}{rl}{x}_{t+\Delta t}& =x_t+\sqrt{{\sigma }_{t+\Delta t}^2-{\sigma }_t^2}ϵ\\ & =x_t+\sqrt{({\sigma }_{t+\Delta t}^2-{\sigma }_t^2)/\sqrt{\Delta t}}\sqrt{\Delta t}ϵ\\ & =x_t+\sqrt{\Delta {\sigma }_t^2/\sqrt{\Delta t}}\sqrt{\Delta t}ϵ\end{array}$$
VP：$f(x_t,t)=-\frac{1}{2}\beta (t)x_t$和$g(t)=\sqrt{\beta (t)}$。我们知道加噪是按照一个序列 { β i } i = 1 T \{\beta_{i} \}_{i=1}^{T} {βi​}i=1T​进行，令 { β ˉ i = T β i } i = 1 T \{\bar \beta_{i}=T\beta_{i} \}_{i=1}^{T} {βˉ​i​=Tβi​}i=1T​，则当$T$趋近于无穷时， { β ˉ i } i = 1 T → β ( t ) , t ∈ [ 0 , 1 ] \{\bar\beta_{i} \}_{i=1}^{T} \to \beta(t),t \in[0,1] {βˉ​i​}i=1T​→β(t),t∈[0,1]，接近一个函数。且有$\beta (\frac{i}{T})={\bar{\beta }}_i$，并令$\Delta t=\frac{1}{T}$，那么：
$$\begin{array}{rl}{x}_{t+1}& =\sqrt{1-\frac{{\bar{\beta }}_{t+1}}{T}}{x}_t+\sqrt{\frac{{\bar{\beta }}_{t+1}}{T}}ϵ\\ x_{t+\Delta t}& =\sqrt{1-\beta (t+\Delta t)\Delta t}{x}_t+\sqrt{\beta (t+\Delta t)\Delta t}ϵ\\ & \approx (1-\frac{1}{2}\beta (t+\Delta t)\Delta t)x_t+\sqrt{\beta (t+\Delta t)}\sqrt{\Delta t}ϵ\\ & \approx x_t-\frac{1}{2}\beta (t)\Delta t{x}_t+\sqrt{\beta (t)}\sqrt{\Delta t}ϵ\end{array}$$
至此，我们通过SDE表示出了VE和VP。

2.5 联系

Score-based Model中的score:$s_{\theta }(x_t,t)$和DDPM中的Denoiser:${ϵ}_{\theta }(x_t,t)$之间有什么联系？在DDPM中，$x_t\sim N(\sqrt{\overline{{\alpha }_t}}{x}_0+1-\overline{{\alpha }_t}I)$，则 p ( x t ) ∝ e x p { − ∣ ∣ x t − α ˉ t x 0 ∣ ∣ 2 2 2 ( 1 − α ˉ t ) } p(x_{t}) \propto exp\{-\frac{||x_{t}-\sqrt{\bar \alpha_{t}}x_{0}||_{2}^{2}}{2(1-\bar \alpha_{t})}\} p(xt​)∝exp{−2(1−αˉt​)∣∣xt​−αˉt​ ​x0​∣∣22​​}，将$p(x_t)$带入下面公式并求导得到score：
$$\begin{array}{c}score={\nabla }_{x_t}logp(x_t)=-\frac{x_t-\sqrt{{\bar{\alpha }}_t}{x}_0}{1-{\bar{\alpha }}_t}\end{array}$$。
在DDPM中，$x_t=\sqrt{\overline{{\alpha }_t}}{x}_0+\sqrt{1-\overline{{\alpha }_t}}ϵ$，可以推出$ϵ=\frac{x_t-\sqrt{\overline{{\alpha }_t}}{x}_0}{\sqrt{1-\overline{{\alpha }_t}}}$。且优化函数为
$$\begin{array}{c}{L}_{t-1}^{\text{simple }}={\mathbb{E}}_{{\mathbf{x}}_0,ϵ\sim \mathcal{N}(0,\mathbf{I})}\left[{\Vert ϵ-{ϵ}_{\theta }\left(\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0+\sqrt{1-{\bar{\alpha }}_t}ϵ,t\right)\Vert }^2\right]\end{array}$$
那么可以得到${ϵ}_{\theta }(x_t,t)=\frac{x_t-\sqrt{{\bar{\alpha }}_t}{x}_0}{\sqrt{1-{\bar{\alpha }}_t}}$，并于公式22对比可以得到他们之间的联系：
$$\begin{array}{c}{s}_{\theta }(x_t,t)\approx -\frac{1}{\sqrt{1-{\bar{\alpha }}_t}}{ϵ}_{\theta }(x_t,t)\end{array}$$
即通过这个系数就可以完成Score-based Model和DDPM的转换。

VE与VP之间的联系？VE中：$x_t=x_0+{\sigma }_tϵ$，两边同除：$\frac{x_t}{\sqrt{1+{\sigma }_t^2}}=\frac{x_0}{\sqrt{1+{\sigma }_t^2}}+\frac{{\sigma }_t}{\sqrt{1+{\sigma }_t^2}}ϵ$，我们令VP中的${\bar{x}}_t=\frac{x_t}{\sqrt{1+{\sigma }_t^2}}$，并令$\sqrt{{\bar{\alpha }}_t}=\frac{1}{\sqrt{1+{\sigma }_t^2}}$，这样做的意义就构建他们之间的联系，就是通过VE中的${\sigma }_t$来获得VP中的加噪序列${\alpha }_t$，最后$\sqrt{1-{\bar{\alpha }}_t}=\frac{{\sigma }_t}{\sqrt{1+{\sigma }_t^2}}$，则VP中：$x_t=\sqrt{{\bar{\alpha }}_t}{x}_0+\sqrt{1-{\bar{\alpha }}_t}ϵ$。