机器之心专栏
作者:张威
翻译:燕子石
本文是哥伦比亚大学研究生张威在生成模型上的学习笔记,由毕业于新西兰奥克兰理工大学的燕子石翻译。机器之心之前曾介绍过张威所写的吴恩达《机器学习》课程的学习笔记。
英文原版地址:https://wei2624.github.io/MachineLearning/sv_generative_model/
中文翻译地址:https://air-yan.github.io/machine%20learning/Generative-Learning-Algorithm/
1 判别模型
判别模型是一种对观测数据进行直接分类的模型,常见的模型有逻辑回归和感知机学习算法等。此模型仅对数据进行分类,并不能具象化或者量化数据本身的分布状态,因此也无法根据分类生成可观测的图像。
定义上,判别模型通过构建条件概率分布 p(y|x;θ) 预测 y,即在特征 x 出现的情况下标记 y 出现的概率。此处 p 可以是逻辑回归模型。
2 生成模型
与判别模型不同,生成模型首先了解数据本身分布情况,并进一步根据输入 x,给出预测分类 y 的概率。该模型有着研究数据分布形态的概念,可以根据历史数据生成新的可观测图像。
贝叶斯分类就是一个典型的例子。在这个例子中,我们有一个先验分类,根据这个先验分类,我们可以使用贝叶斯原理计算每个分类的概率,然后取概率最高的概率。同时,我们还可以根据特定的先验生成特征。这就是一个生成过程。
3 高斯判别分析
高斯判别分析(GDA)是一个生成模型,其中 p(x|y) 是多元高斯正态分布。
3.1 多元高斯正态分布
在多元正态分布中,一个随机变量是一个在维度为 n 的 Rn 空间中的矢量值。因此,多元高斯的均值向量 μ∈Rn,协方差矩阵Σ∈Rn x n,其中$ \ Sigma 是对称的半正定矩阵。其概率密度函数为:
如上所述,μ是期望值。
向量值随机变量 Z 的协方差为: