Re8 Generative Modeling by Estimating Gradients of the Data Distribution

• 宋扬博士的作品，和DDPM同属扩散模型开创工作，但二者的技术路线不同

Introduction

• 当前生成模型主要分成两类

基于似然模型

通过近似最大似然直接学习分布的概率密度，如VAE

隐式生成模型

概率分布由其抽样过程的模型隐式表示，如GAN

GAN隐式表示了生成器网络可以产生的所有对象的分布。

• 二者的局限：基于似然的模型需要对模型架构进行严格限制，以确保似然计算的可处理性；而隐式生成模型则不稳定，容易崩溃。

• 文中推出了一种基于对数概率密度梯度进行建模，称为得分函数，并可直接通过分数匹配来学习。

基于分数的模型

• 总结来说就是估计数据分布的梯度，并基于朗之万动力学的思想来生成样本。
• 分数：对数概率密度对输入数据的梯度，
  
  
• 其中，用颜色表示概率密度函数，用箭头表示积分函数，其本身是一个梯度，是一个向量场，指向密度函数增长最快的方向
• 因此，概率密度函数和分数函数是一个东西的两种不同表示方式。
• 如果在采样过程中沿着分数的方向走，就能走到数据分布的高概率密度区域，最终生成的样本就会符合原数据分布。同时，为了保证采样过程有随机性，就又加入了布朗运动。

分数预测

• 给定一个数据样本，需要预测积分函数向量场
• 因此，我们训练一个积分函数模型Score Model，本身是一个可训练的向量值函数，让其和数据分布的对数的梯度接近
• 从而，需要一个损失函数来比较两个向量场之间的距离，使用fisher divergence，其用来比较数据分布积分函数和积分函数模型之间的欧式距离的平方。
• 但是，还是需要依赖积分函数，作者引入Score Matching，通过分步积分的方法将fisher divergence转换为Score Matching objective，其不依赖于积分函数，但是需要计算积分函数模型的雅各比行列式的迹，这对于高维数据来说很难实现。
  
• 这里需要计算两个值，一个是向量值函数，一个是雅各比行列式的迹，但是其反向传播的时间复杂度和其参数量同规模，因此score matching没法应用到大规模的数据集上

Sliced Score Matching

• 作者提出了sliced score matching，通过将高维向量投影到一维标量场，引入新的目标函数，不需要计算迹，同时只需要一次后向计算
  
• 可以看到SSM比SM速度快很多，而且随着数据维度的增加差距越明显，同时，右图中可以看到二者的表现相差不多
  
• 在学习完积分函数模型后，可以铜鼓采样的方法得到新的样本，若能从向量场中不断地采样，就能得到源源不断的生成样本

Sampling

• 那么如何在得到分数后进行采样呢
  
• 通常，将随机分布的点沿着向量场的方向移动的方式来到达概率比较大的地方，但这样没法产生样本，所有点都集中在一起，引入朗之万采样，一点点的加入噪声，使能够在积分函数向量场中获得希望的概率函数样本
  
• 然而，对数据密度较低的区域效果不好
  
  
• 估计不准确是由于数据密度低导致的。所以添加噪声之后，扰动的数据点可以填满原数据分布中概率密度比较低的区域。这样就能获得准确的计分函数估计。
  
• 所以在实际中，我们使用多个不同等级的噪声来扰动数据分布得到若干个扰动后的数据分布
• 然后训练一个积分函数模型，同时估计被噪声扰动之后的数据分布所对应的积分函数向量场，同时也需要一个新的目标函数，称为退火朗之万采样。
  
• 实验验证随着噪声数量的增加，样本生成质量越高
  
• 因此，可以使用随机微分方程来表示无穷多的噪声分布，其本质是受噪声干扰的微分方程，
  
• 可以看到在cifar数据集上的FID和GAN比差不多

Conclusion

提出基于分数的模型框架，首先通过分数匹配估计数据密度的梯度，然后通过朗之万动力学生成样本，并提出通过训练噪声条件分数网络，并能生成高质量的图像。

参考资料

1. Generative Modeling by Estimating Gradients of the Data Distribution
2. 基于梯度估计的生成式模型
3. 估计数据分布梯度：如何克服现有生成式模型的缺陷