生成模型学习笔记：从高斯判别分析到朴素贝叶斯

机器之心专栏

作者：张威

翻译：燕子石

本文是哥伦比亚大学研究生张威在生成模型上的学习笔记，由毕业于新西兰奥克兰理工大学的燕子石翻译。机器之心之前曾介绍过张威所写的吴恩达《机器学习》课程的学习笔记。

• 英文原版地址：https://wei2624.github.io/MachineLearning/sv_generative_model/

• 中文翻译地址：https://air-yan.github.io/machine%20learning/Generative-Learning-Algorithm/

1 判别模型

判别模型是一种对观测数据进行直接分类的模型，常见的模型有逻辑回归和感知机学习算法等。此模型仅对数据进行分类，并不能具象化或者量化数据本身的分布状态，因此也无法根据分类生成可观测的图像。

定义上，判别模型通过构建条件概率分布 p(y|x;θ) 预测 y，即在特征 x 出现的情况下标记 y 出现的概率。此处 p 可以是逻辑回归模型。

2 生成模型

与判别模型不同，生成模型首先了解数据本身分布情况，并进一步根据输入 x，给出预测分类 y 的概率。该模型有着研究数据分布形态的概念，可以根据历史数据生成新的可观测图像。

贝叶斯分类就是一个典型的例子。在这个例子中，我们有一个先验分类，根据这个先验分类，我们可以使用贝叶斯原理计算每个分类的概率，然后取概率最高的概率。同时，我们还可以根据特定的先验生成特征。这就是一个生成过程。

3 高斯判别分析

高斯判别分析（GDA）是一个生成模型，其中 p(x|y) 是多元高斯正态分布。

3.1 多元高斯正态分布

在多元正态分布中，一个随机变量是一个在维度为 n 的 Rn 空间中的矢量值。因此，多元高斯的均值向量 μ∈Rn，协方差矩阵Σ∈Rn x n，其中$ \ Sigma 是对称的半正定矩阵。其概率密度函数为：

 

如上所述，μ是期望值。

向量值随机变量 Z 的协方差为：