生成模型学习笔记（二）

之后有可能要从事生成类模型的研究和应用，在这里记录一下学习笔记和心得。

---

3. 扩散模型（Diffusion Model）

3.1 扩散模型原理

  扩散模型是对一系列隐变量进行建模的模型，即 $p_{\theta }(x_{0:T})$，其中 $\theta$ 是模型参数，$x_0$是真实数据，$x_{1:T}$ 是隐变量。隐变量都是由真实数据 $x_0$ 进行逐步地扩散而来，这个过程表示为前向过程（forward process）或扩散过程（diffusion process），记作 $q(x_{1:T}|x_0)$。前向过程满足马尔可夫性，即 $q(x_t|x_{1:t-1})=q(x_t|x_{t-1})$，则前向过程的联合概率可以表示为 $q(x_{1:T}|x_0)={\prod }_{t=1}^{T}q(x_t|x_{t-1})$。

  前向过程认为每一步的隐变量都是上一步的扩散，或者叫加噪，具体来说可以认为 $x_t=\sqrt{1-{\beta }_t}{x}_{t-1}+\sqrt{{\beta }_t}{ϵ}_t$，其中 { β t } 1 ≤ t ≤ T \{\beta_t\}_{1\leq t\leq T} {βt​}1≤t≤T​ 是一组很小的参数，对应每一步扩散的幅度。每一步的扩散可以表示为 $q(x_t|x_{t-1})=\mathcal{N}(\sqrt{1-{\beta }_t}{x}_{t-1},{\beta }_{t}I)$。而 $p_{\theta }(x_{0:T})$ 表示从隐变量回到样本数据的过程，表示为反向过程（reverse process），即 $p_{\theta }(x_{0:T})=p(x_T){\prod }_{t=1}^T{p}_{\theta }(x_{t-1}|x_t)$，其中 $x_T$ 经过了多步的扩散后已经几乎变为随机噪声，因此认为 $p(x_T)=\mathcal{N}(0,I)$。

3.2 去噪扩散概率模型（Denoising Diffusion Probabilistic Model，DDPM）

3.2.1 DDPM原理概述

  DDPM是扩散模型生成数据的开山之作，通过训练一个去噪网络，对采样到的随机噪声进行逐步去噪，最终还原为有价值的的数据。这个过程有点像雕塑，雕像就在大理石之中，只要找到多余的部分并去除就可以还原出雕像的面貌。为了训练这个去噪网络，DDPM先对样本数据逐步加噪，并将每一步的噪声用于去噪网络的训练。

  相比于GAN、VAE等一步到位的模型，DDPM更像是逐步化的VAE，但核心思想是对噪声进行预测而非直接对数据进行预测，前者被认为更加简单和可行。同时DDPM也解耦了样本空间和隐空间变量的一一对应关系，比VAE更加方便。多步生成效果也比单步生成更好，这在集成学习，残差网络，自回归模型等研究中已经多次见过，每一步都可以对上一步进行精细化微调，使得预测结果更加合理。

3.2.2 DDPM公式推导

  同VAE，DDPM也分为Encoder和Decoder，对应扩散模型的前向过程和反向过程。前者对数据逐步加噪使其最终几乎完全成为随机噪声，后者对随机噪声进行逐步去噪最终成为生成的数据。同时模型也分为Training过程和Sampling过程（也可以叫Learning过程和Inference过程）。而DDPM的优化目标也是变分下界：

  DDPM的变分下界可以改写为：
这里截取了原论文的公式，DDPM的论文中将目标函数写作变分下界的负值，因此最大化变分下界就是最小化上面这个式子。对于 $L_T$，已经保证了 $p(x_T)=\mathcal{N}(0,I)$ 且前向过程使得 $q(x_T|x)$ 尽可能接近 $\mathcal{N}(0,I)$ ，因此这一项通过前向过程的定义已经得到了优化。对于 $L_T$ 也同样与前向过程相关而非模型参数，因此模型需要学习的只有最小化 $L_{t-1}$，即使得前向过程的后验分布 $q(x_{t-1}|x_t,x_0)$ 与通过模型输出的反向过程的 $p_{\theta }(x_{t-1}|x_t)$ 之间的KL散度。

  为了训练模型，我们首先要对前向过程中每一步的后验概率 $q(x_{t-1}|x_t,x_0)$ 进行计算。可以利用贝叶斯公式得：
$$\begin{array}{rl}q(x_{t-1}|x_t,x_0)& =\frac{q(x_{t-1},x_t,x_0)}{q(x_t,x_0)}\\ & =\frac{q(x_t|x_{t-1},x_0)q(x_{t-1}|x_0)q(x_0)}{q(x_t|x_0)q(x_0)}\\ & =\frac{q(x_t|x_{t-1},x_0)q(x_{t-1}|x_0)}{q(x_t|x_0)},\end{array}\text{\hspace{1em}(3.1)}$$
其中 $q(x_t|x_{t-1},x_0)$ 可以通过马尔可夫性进行化简为 $q(x_t|x_{t-1})$（这里看似不起眼，其实有伏笔，后续研究将针对这里做改进），而其他两项需要通过前向传播逐步计算。

  在DDPM中，前向过程的每一步加噪可以通过预设定的幅度进行，无需学习得到。因此模型首先设定加噪和去噪的步数 $T$，并设定一组超参数 { β t } 1 ≤ t ≤ T \{\beta_t\}_{1\leq t\leq T} {βt​}1≤t≤T​，并一起计算其他几个会用到的超参数 { α t = 1 − β t } 1 ≤ t ≤ T \{\alpha_t=1-\beta_t\}_{1\leq t\leq T} {αt​=1−βt​}1≤t≤T​， { α ˉ t = ∏ τ = 1 t α τ } 1 ≤ t ≤ T \{\bar{\alpha}_t=\prod_{\tau=1}^t\alpha_{\tau}\}_{1\leq t\leq T} {αˉt​=∏τ=1t​ατ​}1≤t≤T​。则根据3.1中的式子，$x_t=\sqrt{{\alpha }_t}{x}_{t-1}+\sqrt{{\beta }_t}{ϵ}_t=\sqrt{{\alpha }_t}[\sqrt{{\alpha }_{t-1}}{x}_{t-2}+\sqrt{{\beta }_{t-1}}{ϵ}_{t-1}]+\sqrt{{\beta }_t}{ϵ}_t=\sqrt{{\alpha }_t\cdot {\alpha }_{t-1}}{x}_{t-2}+\sqrt{{\alpha }_t\cdot {\beta }_{t-1}}{ϵ}_{t-1}+\sqrt{{\beta }_t}{ϵ}_t$，根据高斯分布可加性，$\sqrt{{\alpha }_t\cdot {\beta }_{t-1}}{ϵ}_{t-1}+\sqrt{{\beta }_t}{ϵ}_t\sim \mathcal{N}(0,({\alpha }_t\cdot {\beta }_{t-1}+{\beta }_t)I)$，因此一直向前计算可得 $x_t=\sqrt{{\bar{\alpha }}_t}{x}_0+\gamma ϵ$，$\gamma$ 计算比较麻烦，可以近似表示为 $\sqrt{1-{\bar{\alpha }}_t}$，因此前向过程无需逐步计算，而是可以一步得到：
$$x_t=\sqrt{{\bar{\alpha }}_t}{x}_0+\sqrt{1-{\bar{\alpha }}_t}ϵ,x_t\sim \mathcal{N}(\sqrt{{\bar{\alpha }}_t}{x}_0,1-{\bar{\alpha }}_t)\text{\hspace{1em}(3.2)}$$
将该式带入式（3.1）可得（下面的式子实际上应该严格按照多元高斯分布推导，但过程太过繁杂为了表意直观，按照一元高斯分布列写）：
$$q(x_{t-1}|x_t,x_0)=\frac{\sqrt{2\pi \cdot (1-{\bar{\alpha }}_t)}}{\sqrt{2\pi {\beta }_t}\sqrt{2\pi \cdot (1-{\bar{\alpha }}_{t-1})}}\cdot \exp \left\{\frac{(x_t-\sqrt{{\alpha }_t}{x}_{t-1}{)}^2}{2{\beta }_t}+\frac{(x_{t-1}-\sqrt{{\bar{\alpha }}_{t-1}}{x}_0{)}^2}{2(1-{\bar{\alpha }}_{t-1})}-\frac{(x_t-\sqrt{{\bar{\alpha }}_t}{x}_0{)}^2}{2(1-{\bar{\alpha }}_t)}\right\}$$
经过一系列复杂的多元高斯概率密度函数的化简后，可以得到：
$$\begin{array}{rl}q(x_{t-1}|x_t,x_0)& =\mathcal{N}\left(\tilde{\mu }(x_t,x_0),\tilde{\Sigma }(x_t,x_0)\right),\\ \tilde{\mu }(x_t,x_0)& =\frac{\sqrt{{\bar{\alpha }}_{t-1}}{\beta }_t}{1-{\bar{\alpha }}_t}{x}_0+\frac{\sqrt{{\alpha }_t}(1-{\bar{\alpha }}_{t-1})}{1-{\bar{\alpha }}_t}{x}_t,\\ \tilde{\Sigma }(x_t,x_0)& =\frac{1-{\bar{\alpha }}_{t-1}}{1-{\bar{\alpha }}_t}{\beta }_{t}I\end{array},\text{\hspace{1em}(3.3)}$$
由此就可以最小化 $L_{t-1}$ 来使模型得到训练，但似乎还不太明确如何调整模型 $\theta$ 让KL散度降低。DDPM的论文中提到，$q(x_{t-1}|x_t,x_0)$ 的方差是由预设定的超参数决定的，而模型的 $p_{\theta }(x_{t-1}|x_t)$ 的方差几乎可以认为是固定的（也有论文讨论其方差并不固定的问题，但实际工作验证了可以将其视为固定而不会对模型性能有影响）。因此对两个方差固定的高斯分布，只需要令二者均值接近就可以减小KL散度。

  回到刚刚的问题，如何调整模型 $\theta$ ，来让二者均值接近呢？需要寻找模型计算 $p_{\theta }(x_{t-1}|x_t)$ 均值的方法。由式（3.2）可反推 $x_0=\frac{1}{\sqrt{{\bar{\alpha }}_t}}(x_t-\sqrt{1-{\bar{\alpha }}_t}ϵ)$将该式带入式（3.3）中的均值可得：
$$\tilde{\mu }(x_t,x_0)=\frac{1}{\sqrt{{\alpha }_t}}\left(x_t-\frac{1-{\alpha }_t}{\sqrt{1-{\bar{\alpha }}_t}}ϵ\right),\text{\hspace{1em}(3.4)}$$

  到这里我们终于知道如何用模型计算 $p_{\theta }(x_{t-1}|x_t)$ 并使其靠近 $q(x_{t-1}|x_t,x_0)$，只要通过模型预测其中的噪声 $ϵ$，即可算得 ${\mu }_{\theta }(x_t,t)=\frac{1}{\sqrt{{\alpha }_t}}\left(x_t-\frac{1-{\alpha }_t}{\sqrt{1-{\bar{\alpha }}_t}}{ϵ}_{\theta }\right)$，则目标函数可以改写为：
$$\begin{array}{rl}{L}_{t-1}& ={\mathbb{E}}_q\left[\frac{1}{2{\sigma }_t^2}{\Vert \tilde{\mu }(x_t,x_0)-{\mu }_{\theta }(x_t,t)\Vert }^2\right]+C\\ & ={\mathbb{E}}_q\left[\frac{1}{2{\sigma }_t^2}\cdot \frac{1}{\sqrt{{\alpha }_t}}\cdot \frac{1-{\alpha }_t}{\sqrt{1-{\bar{\alpha }}_t}}{\Vert ϵ-{ϵ}_{\theta }(x_t,t)\Vert }^2\right]+C\\ & =\frac{1}{2{\sigma }_t^2}\cdot \frac{1}{\sqrt{{\alpha }_t}}\cdot \frac{1-{\alpha }_t}{\sqrt{1-{\bar{\alpha }}_t}}\cdot {\mathbb{E}}_q\left[{\Vert ϵ-{ϵ}_{\theta }(\sqrt{{\bar{\alpha }}_t}{x}_0+\sqrt{1-{\bar{\alpha }}_t}ϵ,t)\Vert }^2\right]+C\end{array}$$

  根据上面的所有推导可以得到DDPM的算法为：
其中 ${ϵ}_{\theta }$ 为噪声预测器，而sampling中的公式4就是用模型来计算式（3.4），但sampling中第四行还有一项 ${\sigma }_{t}z$，主要是在每一步去噪时再加入一个微小噪声（${\sigma }_t$ 远小于1），对于这个操作目前还没找到可靠解释，但可以确定的是如果不加这一项生成的结果会很差而没有语义信息（下图右）。台大李宏毅老师给出的解释是，语义本来就不是由最大概率的子部分所组成的，这一点无论在图像、语音还是语言都有体现，如下图左，如果用一个自回归模型（如GPT）不断预测下一个词来生成语言，则人类的语言很少被模型判定为高概率的句子（下图左），而如果一直以最高概率的词作为预测结果，生成的句子可能会非常无聊且容易重复。因此在DDPM生成数据的过程中，每一步都必须保持一定的随机性，并在后续步骤中对这些随机性进行调整，才能最终得到有意义的数据。

3.3 基于分数的扩散模型（Score-based Diffusion Model）

3.3.1 先前基于分数的生成模型（Score-based Generative Model，SGM）

3.3.1.1 分数Score的由来

  生成模型需要对数据的分布进行建模，受基于能量的模型（Energy-based Model，EBM）启发，我们通常把数据分布建模为 $p_{\theta }=\frac{e^{-f_{\theta }(x)}}{Z_{\theta }}$，其中 $\theta$ 为模型参数，$Z_{\theta }={\int }_x{e}^{-f_{\theta }(x)}dx$ 为归一化因子，为了使建模的分布积分为1。我们通常使用最大似然的方法训练模型（Normalized flow、VAE以及DDPM都是这一类方法），即 $\hat{\theta }=\underset{\theta }{\max }{\sum }_{i=1}^N\log p_{\theta }(x_i)=\underset{\theta }{\max }[{\sum }_{i=1}^N-f_{\theta }(x_i)-N\log Z_{\theta }]$，但计算 $Z_{\theta }$ 需要对整个样本空间进行遍历，无法精确求解，因此需要对这个问题进行简化。

  基于分数的方法通过改变优化目标来解决上述问题，既然无法求解似然函数，那就可以用分数Score：
$$s_{\theta }(x)={▽}_x\log p_{\theta }(x)={▽}_x[-f_{\theta }(x)-\log Z_{\theta }]={▽}_x[-f_{\theta }(x)]$$
来训练模型，从而约去归一化因子。其思想是不需要直接对概率分布进行计算，只要对归一化之前的概率分布，即能量函数 $f_{\theta }(x)$ 进行优化就可以，最后等模型训练好了直接从中抽样就自然完成了归一化。

  而基于分数的方法通过计算 ${▽}_x\log p_{\theta }(x)$ 并使其不断靠近真实分数 ${▽}_x\log p_{data}(x)$ ，则模型所建模的分布也会逐渐接近真实分布。这个思想可以理解为，对未归一化的分布进行优化就是调整分布的形状，与归一化后的分布只差一个放缩的系数，只要其形状和真实分布的形状相近，就能保证归一化后的分布与真实分布非常接近，而形状就是概率密度函数对 $x$ 的导数。因此SGM的目标函数，也被称为Fisher散度，表示为：
$$\underset{\theta }{\min }\mathcal{L}=\underset{\theta }{\min }{\mathbb{E}}_{p_{data}(x)}[\Vert {▽}_x\log p_{data}(x)-s_{\theta }(x){\Vert }^2]$$

  这里可以联想到DDPM。在DDPM中，其Inference过程是认为隐变量是真实数据加了噪声得来，要逐步预测这个噪声并减去，使其渐渐靠近真实数据分布。如果把单步隐变量视作模型建模的分布 $p_{\theta }(x)$，则需要预测的噪声可以理解为模型分布与真实分布之差，因此这个噪声与上面提到的分数其实都是提供了让模型分布靠近真实分布的信息，DDPM与基于分数的模型的目标函数也有相同形式。（下面这句是我自己的理解）不同的是DDPM的模型分布向着 $p_{data}(x_0)-p_{data}(x_t)$ 的方向移动，而基于分数的模型分布向着 ${▽}_x\log p_{data}(x)={\lim }_{\Delta x\to 0}\frac{p_{data}(x_t+\Delta x)+p_{data}(x_t)}{\Delta x}$ 的方向移动。

3.3.1.2 分数匹配（Score Matching）

  但这又有个问题，我们并不知道真实分布 $p_{data}(x)$，何来计算真实分数呢？大佬Song Yang给出了一个方法，即为分数匹配。具体来说，先将上面的目标函数拆开：
$$\begin{array}{rl}\mathcal{L}& ={\mathbb{E}}_{p_{data}(x)}[\Vert {▽}_x\log p_{data}(x)-s_{\theta }(x){\Vert }^2]\\ & ={\int }_x{p}_{data}(x)\cdot \Vert {▽}_x\log p_{data}(x)-s_{\theta }(x){\Vert }^{2}dx\\ & ={\int }_x{p}_{data}(x)\cdot [{▽}_x\log p_{data}(x)-s_{\theta }(x){]}^T\cdot [{▽}_x\log p_{data}(x)-s_{\theta }(x)]dx\\ & ={\int }_x{p}_{data}(x)\cdot [{▽}_x\log p_{data}(x{)}^T{▽}_x\log p_{data}(x)\\ & -2{▽}_x\log p_{data}(x{)}^T{s}_{\theta }(x)+s_{\theta }(x{)}^T{s}_{\theta }(x)]dx\end{array}$$
其中第一项 ${▽}_x\log p_{data}(x{)}^T{▽}_x\log p_{data}(x)$ 与 $\theta$ 无关，因此可以视作常数，我们继续对第二第三项进行化简，其中因为 ${▽}_x\log p_{data}(x)$ 和 $s_{\theta }(x)$ 都是向量，其每个元素是对 $x=[x_1,\cdots ,x_p]$ 每个维度求偏导，即 $s_{\theta }(x)={▽}_x\log p_{\theta }(x)=[\frac{\partial p_{\theta }(x)}{\partial x_1},\cdots ,\frac{\partial p_{\theta }(x)}{\partial x_p}]$，因此记 $s_{\theta ,x_i}(x)=\frac{\partial p_{\theta }(x)}{\partial x_i}$，可以按照维度将上面的式子拆开为：
$$\begin{array}{rl}\mathcal{L}& ={\int }_x{p}_{data}(x)\cdot \left[-2{▽}_x\log p_{data}(x{)}^T{s}_{\theta }(x)+s_{\theta }(x{)}^T{s}_{\theta }(x)\right]dx\\ & ={\int }_x{p}_{data}(x)\cdot \left[-2\sum _{i=1}^p{▽}_{x_i}\log p_{data}(x)\cdot s_{\theta ,x_i}(x)+\sum _{i=1}^p{s}_{\theta ,x_i}^2(x)\right]dx\end{array}$$
其中后面一项比较容易求解，无需 $p_{data}(x)$ 信息，我们再继续对前一项化简：
$$\begin{array}{rl}& {\int }_x{p}_{data}(x)\cdot \left[-2\sum _{i=1}^p{▽}_{x_i}\log p_{data}(x)\cdot s_{\theta ,x_i}(x)\right]dx\\ =& {\int }_x{p}_{data}(x)\cdot \left[-2\sum _{i=1}^p\frac{1}{p_{data}(x)}\cdot {▽}_{x_i}{p}_{data}(x)\cdot s_{\theta ,x_i}(x)\right]dx\\ =& -2{\int }_x\left[\sum _{i=1}^p{▽}_{x_i}{p}_{data}(x)\cdot s_{\theta ,x_i}(x)\right]dx\\ =& -2\sum _{i=1}^p{\int }_{x_i}\left[\frac{\partial p_{data}(x)}{\partial x_i}\cdot s_{\theta ,x_i}(x)\right]d{x}_i,分部积分\\ =& -2\sum _{i=1}^p\left\{\underset{=0}{\underbrace{\left[p_{data}(x)\cdot s_{\theta ,x_i}(x)\right]{|}_{-\infty }^{+\infty }}}-{\int }_{x_i}\left[p_{data}(x)\cdot \frac{\partial s_{\theta ,x_i}(x)}{\partial x_i}\right]d{x}_i\right\}\\ =& 2{\int }_x{p}_{data}(x)\cdot \left[\sum _{i=1}^p\frac{\partial s_{\theta ,x_i}(x)}{\partial x_i}\right]dx\\ =& 2{\int }_x{p}_{data}(x)\cdot \left[tr({▽}_x{s}_{\theta }(x))\right]dx\end{array}$$
其中 $tr({▽}_x{s}_{\theta }(x))$ 表示 ${▽}_x{s}_{\theta }(x)$（或 $\frac{{\partial }^2{p}_{\theta }(x)}{\partial x^2}$）的主对角线元素之和（其他元素为$\frac{{\partial }^2{p}_{\theta }(x)}{\partial x_i\partial x_j}{|}_{i\ne j}$）。

  因此原目标函数可以化为：
$$\mathcal{L}={\mathbb{E}}_{p_{data}}\left[\Vert s_{\theta }(x){\Vert }^2+2tr({▽}_x{s}_{\theta }(x))\right]$$
到此便完成了化简，现在的目标函数巧妙避过了计算 ${▽}_x\log p_{data}(x)$，使得目标函数便于计算，只需要调整模型 $\theta$ 使得 $\mathcal{L}$ 最小化即可训练模型。

3.3.1.3 郎之万动力学（Langevin Dynamics）

  郎之万动力学源于物理学中对能量的研究，如同我们最初定义模型分布时，受到基于能量的模型的启发，$p_{\theta }=\frac{e^{-f_{\theta }(x)}}{Z_{\theta }}$，对分布中的一个样本 $x$，其能量函数 $E(x)=f_{\theta }(x)$，因此能量越高的地方概率密度越低，而物理学中对布朗运动（微小粒子随机游走）的研究告诉我们，粒子的运动轨迹存在随机性而无法预测，但其总是趋于从能量高的地方移动向能量低的地方。因此用郎之万动力学的视角看样本数据的生成，可以理解为数据从能量高（概率密度低）的地方流向能量低（概率密度高）的地方，尽管我们并不知道真实数据的概率密度函数，但只要让数据随着能量流动，最终生成的数据都集中在概率密度高的地方，便会接近真实数据的分布。这个过程是数据生成的过程，可以通过郎之万动力学方程来建模，公式为：
$$x_t=x_{t-1}+\frac{ϵ}{2}{▽}_x{p}_{data}(x_{t-1})+\sqrt{ϵ}{z}_t$$
其中 ${▽}_{x}p(x_{t-1})$ 通过训练好的分数模型 $s_{\theta }(x_{t-1})$ 算得，$ϵ$ 是预定义的步长，需要是一个很小的值，经过较多步长后收敛于真实数据分布。$z_t\sim \mathcal{N}(0,I)$ 模拟游走过程中的随机性，避免生成的数据遵循确定性分布从而丢失语义信息和多样性（这里可以回顾3.2.2 DDPM公式推导中最后一段），初始值 $x_0$ 可以从一个预设定的简单分布中抽样，例如高斯分布。

  如果把每一步的游走看做状态转移，则基于郎之万动力学的Inference（数据生成）过程可以看做一个马尔可夫链蒙特卡洛（Markov Chain Monte Carlo，MCMC）的过程，则可以使用MCMC的研究成果来优化这个过程，例如引入 Metropolis-Hastings 算法，对每一次的游走选择接收或不接受，理论上可以加快Inference速度（虽然作者说作用并不大），但这同样丢失了游走过程中的部分随机性，不利于数据的生成。

3.3.1.4 分数匹配的问题与改进

  问题1：基于分数匹配的生成模型在训练时，若网络参数 $\theta$ 较多，或数据维度 $p$ 过大，$tr({▽}_x{s}_{\theta }(x))$ 的计算也非常麻烦，Yang Song对此提出了两种解决方案：

  首先可以通过去噪分数匹配（Denoising Score Matching）的方法。我们无法对未知的数据分布计算 ${▽}_x\log p_{data}(x)$，但可以构建一个与 $p_{data}(x)$ 相近的已知分布。即令 $\tilde{x}=x+\sigma ϵ$，其中 $ϵ\sim \mathcal{N}(0,{\sigma }^{2}I)$，这样对每个样本 $x$，我们都有一个已知的分布 $\tilde{x}\sim q_{\sigma }(\tilde{x}|x)=\mathcal{N}(x,{\sigma }^{2}I)$，则可以对其求分数以使模型可以通过预测 $s_{\theta }(\tilde{x})$ 来为生成的数据提供方向，使其逐渐靠近 $q_{\sigma }(\tilde{x}|x)$ 的分布，也就是在靠近真实分布 $p_{data}(x)$。去噪分数匹配的目标函数为：
$$\underset{\theta }{\min }{\mathbb{E}}_{q_{\sigma }(\tilde{x}|x)p_{data}(x)}\left[{\Vert {▽}_{\tilde{x}}\log q_{\sigma }(\tilde{x}|x)-s_{\theta }(\tilde{x})\Vert }^2\right]=\underset{\theta }{\min }{\mathbb{E}}_{q_{\sigma }(\tilde{x}|x)p_{data}(x)}\left[{\Vert \frac{\tilde{x}-x}{{\sigma }^2}+s_{\theta }(\tilde{x})\Vert }^2\right]$$

  这个方法有点类似于VAE，认为每个样本数据都有其唯一对于的隐空间变量 $z|x\sim \mathcal{N}(\mu (x),\Sigma (x))$，但其生成数据的Decoding方法更加有效和可解释，这个方法必须要保证对数据的扰动方差 $\sigma$ 足够小以至于 $q_{\sigma }(\tilde{x}|x)\approx p_{data}(x)$。

  另外还有一个方法是切片得分匹配（Sliced Score Matching），通过对高维 $tr({▽}_x{s}_{\theta }(x))$ 进行降维来简化计算量，切片得分匹配的目标函数为：
$$\underset{\theta }{\min }{\mathbb{E}}_{p(v)}{\mathbb{E}}_{p_{data}(x)}\left[\Vert s_{\theta }(x){\Vert }^2+2v^T{▽}_x{s}_{\theta }(x)v\right]$$
其中 $v$ 是一个服从简单分布（如标准正态分布）的随机向量，通过该向量可以将 ${▽}_x{s}_{\theta }(x)$ 映射到低维从而简化运算。

  问题2：真实世界的数据往往倾向于分布在低维流形，而此时针对整个高维空间定义的梯度 ${▽}_x\log p_{data}(x)$ 将失去意义（计算出来也不准确），因此对于低维流形的数据，模型训练无法收敛到一致解。

  问题3：上述基于分数匹配的所有方法都可能出现分数估计不准确的问题，特别是对于数据分布稀疏的区域，由于这里数据少，其训练得到的模型不能计算出准确的梯度，如下图所示，颜色深度表示真实数据分布的密度，箭头表示该地区的分布。右图中 Estimated Scores 红色虚线框以外的部分很多地方分数都与左图 Data Scores不同，且越是远离两个数据集中区域则误差越大。

  问题4：生成的结果和真实分布不同。例如，考虑真实数据服从一个混合分布 $p_{data}(x)=a{p}_1(x)+(1-a)p_2(x)$ （如下图a），同时满足 $\{\begin{array}{cc}{p}_2(x)=0,& \text{if}{p}_1(x)>0\\ p_1(x)=0,& \text{if}{p}_2(x)>0\end{array}$，则该分布的分数为 ${▽}_x\log p_{data}(x)=\{\begin{array}{cc}{▽}_x\left[\log (a)+\log p_1(x)\right],& \text{if}{p}_1(x)>0\\ {▽}_x\left[\log (1-a)+\log p_2(x)\right],& \text{if}{p}_2(x)>0\end{array}=\{\begin{array}{cc}{▽}_x\log p_1(x),& \text{if}{p}_1(x)>0\\ {▽}_x\log p_2(x),& \text{if}{p}_2(x)>0\end{array}$，则在梯度信息中混合比例的 $a$ 失效，致使生成的数据本来应该按照两个分布的支撑区域的面积占比分布，但此时只能按照采样的区域面积占比分布（例如下图b，真实数据分布应该是0.3:0.7之类的，但是生成的数据分布却像是0.5:0.5）

3.3.1.5 噪声条件分数网络（Noise Conditional Score Network，NCSN）

  为了解决上述问题2~4，研究者们想到了使用噪声来填充样本空间，既可以对低维流形的数据填充高维信息，又可以增加低数据密度区域的样本数量。这个方法类似于前面提到的去噪分数匹配，即对加噪后的数据进行学习，这使得模型在所有区域都获得了尽可能多的信息来精确估计分数。然而这依然有个问题，如果用来填充样本空间的噪声很小，则对上述问题改进不大，如果噪声很大，则会破坏原数据的分布，导致模型学习到的也是一个被破坏的分布的分数。

  为了解决上述问题，Song Yang et al. 提出了噪声条件分数网络（NCSN），该方法对样本数据添加不同尺度的噪声，并分别用于训练不同的分数网络，在inference时以数据所在的尺度来选择网络计算分数。具体来说，设置一系列从大到小的方差 { σ i } 1 ≤ i ≤ L \{\sigma_i\}_{1\leq i\leq L} {σi​}1≤i≤L​（论文中说设置为等比数列比较好），从而得到一系列扰动后的样本数据 { x ~ i = x + σ i I } 1 ≤ i ≤ L \{\tilde{x}_i=x+\sigma_iI\}_{1\leq i\leq L} {x~i​=x+σi​I}1≤i≤L​，这些所有的样本数据足够填充样本空间。再对扰动后的样本数据 ${\tilde{x}}_t$ 分别训练一系列分数网络 { N e t i } 1 ≤ i ≤ L \{Net_i\}_{1\leq i\leq L} {Neti​}1≤i≤L​，使得从远离真实数据的简单分布开始采样 ${\tilde{x}}_0$，从 $Ne{t}_L$ 开始计算分数，针对不同尺度噪声的数据逐步使用不同的分数网络，并不断趋近于真实分布，这个过程更加类似DDPM的逐步加噪和去噪的方法。

  实际上并不需要训练多个分数网络，而是使用一个网络来拟合所有尺度的分数，此时尺度，或者说方差 ${\sigma }_i$ 作为条件一起输入分数网络，这也是该方法叫条件分数网络的原因，表示为 $s_{\theta }(\tilde{x},\sigma )$。模型训练中对于单个尺度的数据损失函数如下：
$$l({\sigma }_i)={\mathbb{E}}_{p_{data}(x)}{\mathbb{E}}_{\tilde{x}\sim \mathcal{N}(x,{\sigma }_{i}I)}\left[{\Vert \frac{\tilde{x}-x}{{\sigma }_i^2}+s_{\theta }(\tilde{x},{\sigma }_i)\Vert }^2\right]$$而整个网络的损失函数为：$$\mathcal{L}=\frac{1}{T}\sum _{t=1}^T\lambda ({\sigma }_t)l({\sigma }_t)$$这里加入了单个尺度损失函数的权重函数 $\lambda ({\sigma }_i)$，因为单个尺度损失函数对总的模型训练的贡献（比重）会受 ${\sigma }_t$ 影响，从而不能均衡地训练模型。论文中使用的权重函数为 $\lambda ({\sigma }_i)={\sigma }_i^2$。

  对于NCSN的inference，因为其逐尺度逐步地生成数据，也被叫做退火郎之万动力学（Annealed Langevin Dynamics）方法，公式为：
$${\tilde{x}}_t={\tilde{x}}_{t-1}+\frac{{\alpha }_i}{2}{▽}_{\tilde{x}}{s}_{\theta }({\tilde{x}}_{t-1},{\sigma }_i)+\sqrt{{\alpha }_i}{z}_t,$$
其中 ${\alpha }_i$ 是一个随步数变化的步长，通常设置 ${\alpha }_i\propto {\sigma }_i^2$

  作者还提出NCSN可以直接用于Inpainting（图像修补）任务，直接对缺失的部分进行生成即可。算法伪代码如下，只比NCSN生成模型多了第9行：

其中 m 是mask矩阵，y是待修复的图像。