模型算法_生成模型算法

原文链接：Generative Learning Algorithm in Chinese

最新的版本在原文链接里可以找到。原博客会不断更新。这篇笔记主要梳理了吴恩达教授在斯坦福的CS229课程的内容，并结合了哥伦比亚大学几个教授相关笔记内容一并总结。

---

请注意: 本文是翻译的一份学习资料，英文原版请点击Wei的学习笔记:Generative Learning Algorithm

中文版将不断和原作者的英文笔记同步内容，定期更新和维护。

生成学习算法

1 判别模型

判别模型是一种对观测数据进行直接分类的模型，常见的模型有逻辑回归和感知机学习算法等。此模型仅对数据进行分类，并不能具象化或者量化数据本身的分布状态，因此也无法根据分类生成可观测的图像。

定义上，判别模型通过构建条件概率分布

预测y，即在特征x出现的情况下标记y出现的概率。此处p可以是逻辑回归模型。

2 生成模型

与判别模型不同，生成模型首先了解数据本身分布情况，并进一步根据输入x，给出预测分类y的概率。该模型有着研究数据分布形态的概念，可以根据历史数据生成新的可观测图像。

而贝叶斯分类就是一个典型的例子。在这个例子中，我们首先有一个先验分类。这个先验的分布其实就是我们对数据分布的一个假设（如高斯分布，二项分布或多项分布），我们假设我们选择的模型可以正确解释数据集中的隐含信息。从数据集中，我们可以知道哪些参数最适合我们选择的模型。在这个已计算出先验概率的模型中，我们可以使用贝叶斯公式来进一步计算每个类的概率，然后挑出较大的概率供我们使用。与此同时，给定任意一个先验概率分布，我们可以根据这个分布生成新的样本y，进而基于所选择的先验生成新的特征x（比如，基于一个患癌症的先验概率与分布，我们可以生成新的患病者特征x）。这就是所谓的生成过程。

3 高斯判别分析

高斯判别分析（GDA）是一个生成模型，其中

是多元高斯正态分布。

3.1 多元高斯正态分布

在多元正态分布中，一个随机变量是一个

空间中的矢量值，其中n代表维度数。因此，多元高斯的均值向量

，协方差矩阵

，其中Σ是对称的半正定矩阵。其概率密度函数为：

如上所述，μ代表期望值。

随机向量Z（或者说，向量化的随机变量Z）的协方差为：