score-based model论文解读

score-based model介绍

参考视频：[B站score-based model讲解](https://www.bilibili.com/video/BV1VP411u71p/)
论文原文：[Generative Modeling by Estimating Gradients of the Data Distribution](https://arxiv.org/abs/1907.05600)

摘要：

本文提出了一个全新的生成模型，不是直接学习数据的分布，而是通过预测数据分布的对数梯度（即score分数）来构建一个生成模型。score-based model的核心是如何估计score，并且求得score如何进行图片生成。

相关工作：

（1）likelihood-based models:

• 直接对数据分布进行拟合（给定一张图片，要求输出图片和这张图片完全一样）
• 举例：VAE
• 缺点：对于网络结构的设计有很大限制

（2）implicit generative models：

• 间接对数据分布进行拟合（输出的图片，经过判别，应该落在目标分布内）
• 举例：GANs
• 缺点：需要对抗学习，不好训练，容易崩塌

本文提出了一种新的生成模型，即score-based model。首先通过score-matching来估计数据的对数梯度（即score࿰