生成模型简介

1. 生成模型的简介

1.1 生成模型的目标是什么？

给定观测样本$x$，令其真实数据分布为$\underset{\text{u}nknown}{\underbrace{p(x)}}$，生成模型的目标是设计模型来学习真实数据分布$p(x)$。为了实现模型生成的可控性，我们需要建模学习条件概率分布$p(x|y)$。

1.2 生成模型有什么用？

1. 我们可以利用训练好的生成模型采样得到新的样本，因为训练好的生成模型能够近似真实数据分布$p(x)$；
2. 在一些形式下，我们可以使用训练好的生成模型评估观测样本或者采样样本的似然$p(x|\theta )$。

2. 生成模型类别

生成模型的分类标准有很多，下面我们从模型底层的原理对现有的生成模型进行划分。

2.1 Likelihood-Based Models

Likelihood-Based Models包括：

• 自回归(Autoregressive)模型
• 归一化流(Normalizing Flows)模型
• 变分自编码(Variational Autoencoders)模型
• 层次化变分自编码器(Hierarchical Variational Autoencoders)
• 变分扩散模型(Variational Diffusion Models)。

2.2 Adversarial-Based Models

基于对抗(Adversarial)的模型包括：GANs

2.3 Energy-Based Models

基于能量(Energy-Based)的模型，真实数据分布$\underset{\text{u}nknown}{\underbrace{p(x)}}$被认为服从以下形式的分布：
$$p(x)=\frac{1}{Z_{\theta }}{e}^{f(x)}\text{ ,where }{Z}_{\theta }={\int }_x{e}^{f(x)}dx$$
其中，$\underset{\text{u}nknown}{\underbrace{f(x)}}$为Energy Function；$Z_{\theta }$为Partition Function。通常情况下无法直接计算$Z_{\theta }$的值，尤其在未知$p(x)$解析式的情况下。

2.4 Score-Based Models

Score-Based Models为了解决Energy-Based Models中无法计算$Z_{\theta }$的问题，提出以下间接解决方案：
$$p(x)\approx p_{\theta }(x)=\frac{1}{Z_{\theta }}{e}^{-f_{\theta }(x)}$$
$$⟹\log p_{\theta }(x)=-\log \underset{\text{c}onstant}{\underbrace{Z_{\theta }}}-f_{\theta }(x)$$
$$⟹\underset{S_{\theta }(x)}{\underbrace{{\nabla }_x\log p_{\theta }(x)}}=-{\nabla }_x{f}_{\theta }(x)$$
最终的目标函数转换为：
$$\theta =\underset{\theta }{\mathrm{argmin}}{\mathbb{E}}_{p(x)}\Vert S_{\theta }(x)-\underset{unknown}{\underbrace{{\nabla }_x\log p(x)}}{\Vert }_2^2$$
其中，$S_{\theta }(x)$为Score Function，至此将Energy-Based Model转换为Score-Based Model。但是，真实数据分布的${\nabla }_x\log p(x)$未知，可通过Score Matching方法近似求解该目标。

以上是我对生成模型的概述，后续我会按照类型详细讲解各种生成模型的来龙去脉，欢迎关注和讨论。