【2023.07.15】生成模型（三）Score-based Generative Models

1. main contribution

（来自Score-based Generative Model的原文）

1）提供了一个统一SMLD(denoising score matching with langevin dynamics)和DDPM的框架。

2）提供了两个针对求解reverse-time的SDE求解器：一个求解器将数值SDE求解器与score based MCMC方法相结合，另一个求解器主要基于probability flow ode。

 Understanding Diffusion Models A Unified Perspective 部分的推导并不太合理，以下内容只包含了作者对Score-based Generative Models的一些看法。

2. Score-based Generative Models

1）采样过程使用了Langevin dynamics

 

其中噪声属于标准正态分布，这使得样本不总是导向一个mode，还会采样到mode周围增加样本多样性。

2）需要已知真实的score function.。

由于优化的目标函数为，最小化真实分数和网络的Fisher Divergence。 因此对于未知真实的score function 的情况需要使用其他采样方法如sliced-score matching。

3.简单直接的score matching主要存在以下三个问题

（观点来自：Generative modeling by estimating gradients of the data distribution）：

一，当x位于高维空间的低维流形上，目标的score function就难以求解。因为所有不在低维流形上的点的概率为零，likelihood不存在。

二、在低密度区域，使用简单直接的score matching会导致结果不准确。直观的理解，模型在不常见的样本上可学习到的信号非常少，而学习到更多噪声。

三、langevin dynamics采样不适合存在混合的分布。因为log->梯度会使得混合分布的比例系数丢失。即使某个分布有更大的比例系数，但采样到该分布的概率和其他分布相同。

以上三个问题的解决方案：

向分布增加多个程度的高斯噪声：

目标函数变化为：

 其中为noise level，并且是在不同噪声程度的权重。

 

----------------------------------------

1. flexible function

用带参函数拟合任意函数，选择参数使得函数的一阶导和二阶导和被拟合函数的一阶导、二阶导相同?? （好像并不是常用概念）

2.为什么在已知后验分布的分析式后还要采样

有时候分布太复杂，而不能直接求解积分，如函数的期望、范围。

4.什么是低维流形（low-dimensional manifold)

当你站在上面会认为是一个有限维度的无穷空间，如站在地球上，认为地球是一个2d无穷平面。

5.MCMC方法

包括the Metropolis-adjusted Langevin algorithm (MALA) or Langevin Monte Carlo (LMC)

MCMC方法主要被用在不能直接得到概率分布的数学表达的时候，即Monte Carlo sampling方法不能被使用。 因此通过Markov Chain采样。