斯坦福大学机器学习——高斯判别分析

原创 2014年09月04日 16:01:56

同朴素贝叶斯一样,高斯判别分析(Gaussian discriminant analysismodel, GDA)也是一种生成学习算法,在该模型中,我们假设y给定的情况下,x服从混合正态分布。通过训练确定参数,新样本通过已建立的模型计算出隶属不同类的概率,选取概率最大为样本所属的类。

一、混合正态分布(multivariate normal distribution)

混合正态分布也称混合高斯分布。该分布的期望和协方差为多元的:期望,协方差,协方差具有对称性和正定性。混合高斯分布:,它的的概率密度函数为:

其中,为混合高斯分布的期望为其协方差表示协方差的行列式。

下面用图形直观的看一下二维高斯分布的性质:

以上三个图形的期望都为:,最左端图形的协方差,中间的,最右端的,我们可以看出:当变小时,图像变得更加“瘦长”,而当增大时,图像变得更加“扁平”。

再看看更多的例子:


以上三个图形的期望都为:,从左至右三个图形的协方差分别的:

可以看到随着矩阵的逆对角线数值增加,图形延方向,即底部坐标45度角压缩。图形在这个方向更加“扁”。


以上三幅图分别是以上图形的等高线,可以更直观的看到调整逆对角线的数值对图像的压缩程度。

以上三幅图保持协方差不变,期望的值分别为

可以看出,随着期望的改变,图形在平面上平移,而其他特性保持不变。

二、高斯判别分析模型

如果特征值x是连续的随机变量,我们可以使用高斯判别分析模型完成特征值的分类。为了简化模型,假设特征值为二分类,分类结果服从0-1分布。(如果为多分类,分类结果就服从二项分布)

模型基于这样的假设:

他们的概率(密度)函数分别为:



模型的待估计参数为,通常模型有两个不同的期望,而有一个相同的协方差。

该模型的极大似然对数方程为:

                                                                                         

                                                        

                                                        

求解该极大似然方程得:




在对计算完成之后,将新的样本x带入进建立好的模型中,计算出,选取概率更大的结果为正确的分类。

三、GDA和logistic回归

GDA模型和logistic回归模型存在这样有趣的关系:假如我们将视作关于x的函数,该函数可以表示成logistic回归形式:


其中,可以用以为变量的函数表示。

前文中已经提到,如果为混合高斯分布,那么,就可以表示成logistic回归函数形式;相反,如果可表示成logistic回归函数形式,并不代表服从混合高斯分布。这意味着GDA比logistic回归需要更加严格的模型假设,当然,如果混合高斯模型的假设是正确的,那么,GDA具有更高的拟合度。基于以上原因,在实践中使用logistic回归比使用GDA更普遍。



高斯判别分析(GDA)和朴素贝叶斯(NB)

本文先介绍生成模型(generative model)和判别模型(discriminative model)的区别,然后重点介绍生成模型中的两个例子:高斯判别分析(Gaussian discrimin...
  • sz464759898
  • sz464759898
  • 2015年03月20日 21:19
  • 3073

高斯判别分析与高斯混合分布之庖丁解牛(第一集)

数学是科学的皇后                             ——“数学王子”高斯 正态分布的历史: 谈及正态分布的历史,不得不提两位数学家,第一位,Abraham de Moivr...
  • wxcdzhangping
  • wxcdzhangping
  • 2014年03月31日 15:04
  • 3018

斯坦福大学机器学习——高斯判别分析

同朴素贝叶斯一样,高斯判别分析(Gaussian discriminant analysismodel, GDA)也是一种生成学习算法,在该模型中,我们假设y给定的情况下,x服从混合正态分布。通过训练...
  • linkin1005
  • linkin1005
  • 2014年09月04日 16:01
  • 13209

生成模型、高斯判别分析、朴素贝叶斯——斯坦福CS229机器学习个人总结(二)

1、生成学习算法(Generative Learning Algorithm)1.1、判别模型与生成模型判别模型:训练出一个总模型,把新来的样本放到这个总模型中,直接判断这个新样本是猫还是狗。生成模型...
  • sinat_37965706
  • sinat_37965706
  • 2017年04月15日 12:42
  • 715

【机器学习】机器学习(四、五、六):线性分类、高斯判别分析(GDA)、朴素贝叶斯(NB)

STANFORD机器学习公开课第4-5讲算法,文章主要介绍简单的二分类算法:线性分类器、高斯判别分析、朴素贝叶斯。...
  • hujingshuang
  • hujingshuang
  • 2015年06月04日 10:53
  • 3291

高斯判别分析

1.多值正太分布 多变量正太分布描述的是n维随机变量的分布情况(例如变量x有3个属性(连续),胡须长度,角大小,毛长度),单值正太分布(即x只有一个属性),在多值情况下,每个属性都符合高斯分布,所以均...
  • zhf1234abc
  • zhf1234abc
  • 2015年06月29日 16:53
  • 350

最大似然估计 (MLE)与 最大后验概率(MAP)在机器学习中的应用

最大似然估计 MLE 给定一堆数据,假如我们知道它是从某一种分布中随机取出来的,可是我们并不知道这个分布具体的参,即“模型已定,参数未知”。 例如,对于线性回归,我们假定样本是服从正态分布,但是不知道...
  • shenxiaoming77
  • shenxiaoming77
  • 2016年06月12日 09:43
  • 4721

高斯判别分析(附Matlab实现)

生成学习算法   高斯判别分析(Gaussian Discriminant analysis,GDA),与之前的线性回归和Logistic回归从方法上讲有很大的不同,GDA是一种生成学习算法(Ge...
  • u013571752
  • u013571752
  • 2014年04月14日 11:16
  • 2067

ML—高斯判别分析

华电北风吹 天津大学认知计算与应用重点实验室 日期:2015/12/11高斯判别分析属于生成模型,模型最终学习一个特征-类别的联合概率。0 多维正态分布 确定一个多维正态分布只需要知道分布的...
  • zhangzhengyi03539
  • zhangzhengyi03539
  • 2015年12月11日 16:59
  • 1117

<机器学习练习>高斯判别分析GDA

解释:高斯分界面的等式成立可以这样理解:对于任意一点x,其出现在y=0和y=1的两类概率相等。clear; clc %%随机生成一组高斯数据 mu1=[2,2,3]; sigma=[1,0,0;0,2...
  • lanyanchenxi
  • lanyanchenxi
  • 2016年05月24日 19:39
  • 999
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:斯坦福大学机器学习——高斯判别分析
举报原因:
原因补充:

(最多只允许输入30个字)