Noise Conditional Score Networks 简单总结

Noise Conditional Score Networks

Score

$$Score={\nabla }_{x}logp(x)\text{\hspace{1em}(1)}$$

Score 是论文中的一个定义，表示概率密度$p(x)$的梯度，沿着概率密度的梯度向前走，会走到概率密度最高的点。

郎之万动力学采样

$${\tilde{x}}_t={\tilde{x}}_{t-1}+\frac{ϵ}{2}{\nabla }_{\tilde{x}}\log p({\tilde{x}}_{t-1})+\sqrt{ϵ}{z}_t\text{\hspace{1em}(2)}$$

$z_t$表示高斯噪声，$ϵ$表示步长，这个公式表示沿着Score向前走，会走到概率密度最高的点，也就是真实的数据分布

Score learning

要想从公式(2)得到真实的数据分布，关键是要学习Score。
$$L=\frac{1}{2}{\mathbb{E}}_{P_{\text{data}}(x)}\left[{\Vert s_{\theta }(x)-{\nabla }_x\log p(x)\Vert }_2^2\right]\text{\hspace{1em}(3)}$$

直接通过公式(3)学习存在1个问题：

数据密度分布存在低密度区域，对应的样本少，$s_{\theta }(x)$学习不充分，在这些样本点上不能得到足够准确的梯度分数。

通过在真实数据中引入微小的高斯噪声来模拟密度低的样本点，使$s_{\theta }(x)$学习充分。刚开始的噪声大，后面的噪声小

Noise Conditional Score learning

$$L=\frac{1}{2}{\mathbb{E}}_{P_{\text{data}}(x)}{\mathbb{E}}_{\tilde{x}\sim \mathcal{N}(x;{\sigma }^{2}I)}\left[{\Vert s_{\theta }(\tilde{x};\sigma )+\frac{\tilde{x}-x}{{\sigma }^2}\Vert }_2^2\right]\text{\hspace{1em}(4)}$$

加噪的目的是让样本分布的空间扩大，前期加噪越强，分布空间越大。到后期，加噪小，几乎等于真实样本分布。Score也会越来越准确

这篇文章是一个简单总结，详细的推导 可以看这篇文章和这篇文章。

补充知识：

郎之万动力学[^1]用随机微分方程描述粒子的运动，粒子运动的方向由当前位置的能量密度函数的梯度来指导（粒子会朝着从能量密度高向密度低的地方运动）而且受到微弱的随机噪声的影响。通常表示为
$$x_{t+1}=x_t-ϵ\nabla E(x_t)+\sqrt{2ϵ}{\eta }_t$$
$x$,表示分子的位置，$E(x)$表示分子的能量密度函数,$ϵ$表示步长，$\eta$表示高斯噪声，$t$表示当前时刻。

参考：

[^1] 郎之万动力学

[^2] NCSN视频讲解

文章信息

发表时间：2019，发表地点：NuerPIS，作者：Song, Yang，机构：Stanford.

原文：Generative Modeling by Estimating Gradients of the Data Distribution

原发表网站引用模板：

@inproceedings{NEURIPS2019_3001ef25,
 author = {Song, Yang and Ermon, Stefano},
 booktitle = {Advances in Neural Information Processing Systems},
 editor = {H. Wallach and H. Larochelle and A. Beygelzimer and F. d\textquotesingle Alch\'{e}-Buc and E. Fox and R. Garnett},
 pages = {},
 publisher = {Curran Associates, Inc.},
 title = {Generative Modeling by Estimating Gradients of the Data Distribution},
 url = {https://proceedings.neurips.cc/paper_files/paper/2019/file/3001ef257407d5a371a96dcd947c7d93-Paper.pdf},
 volume = {32},
 year = {2019}
}