生成模型和判别模型

转载 2015年07月08日 16:45:28

生成模型与判别模型

监督学习的任务就是学习一个模型,应用这个模型,对给定的输入预测相应的输出。这个模型一般为决策函数:Y=f(X) 或 条件概率分布:P(Y|X)

监督学习的学习方法可以分为生成方法(generative approach)和判别方法(discriminative approach)。所学到的模型分别叫生成模型和判别模型。

 

生成方法

定义

由数据学习联合概率分布P(X,Y), 然后由P(Y|X)=P(X,Y)/P(X),求出概率分布P(Y|X)。该方法表示了给定输入X产生输出Y的生成关系。

典型模型

朴素贝叶斯方法、隐马尔可夫模型

特点

生成方法可以还原出联合概率分P(X,Y),而判别方法不能;生成方法的学习收敛速度更快,当样本容量增加的时候,学到的模型可以更快的收敛于真实模型;当存在隐变量时,仍可以利用生成方法学习,此时判别方法不能用。

注释

当我们找不到引起某一现象的原因的时候,我们就把这个在起作用,但是,无法确定的因素,叫“隐变量”


判别方法

 定义

由数据直接学习决策函数Y=f(X)或条件概率分布P(Y|X)作为预测模型,即判别模型。判别方法关心的是对于给定的输入X,应该预测什么样的输出Y

典型模型

k近邻法、感知机、决策树、逻辑斯谛回归模型、最大熵模型、支持向量机、提升方法、条件随机场

特点

判别方法直接学习的是决策函数Y=f(X)或条件概率分布P(Y|X),直接面对预测,往往学习准确率更高;由于直接学习P(Y|X)f(X),可以对数据进行各种程度上的抽象、定义特征并使用特征,因此可以简化学习问题。

深入浅出机器学习之生成模型,高斯判别

本文以斯坦福大学机器学习课程个人笔记完整版为基础,融合自己的理解。主要想再次降低门槛,省去复杂的公式推导,强化思路的分析。...

生成学习算法.高斯判别分析(GDA).GDA与Logistic模型

《Andrew Ng 机器学习笔记》这一系列文章文章是我再观看Andrew Ng的Stanford公开课之后自己整理的一些笔记,除了整理出课件中的主要知识点,另外还有一些自己对课件内容的理解。同时也...

生成学习算法之高斯判别分析模型

第四部分  生成学习算法 到目前为止,我们主要讨论了建模——给定下的的条件分布——的学习算法。例如,逻辑回归把建模成,这里是sigmoid函数。在这些讲义中,我们将讨论一种不同形式的学习算法。 考...

生成模型中的高斯判别分析和朴素贝叶斯

设样本为X(大写X表示向量),其类别为y。下面的图片若非特殊声明,均来自cs229 Lecture notes 2。 用于分类的机器学习算法可以分为两种:判别模型(Discriminative lea...

生成学习算法、高斯判别分析与朴素贝叶斯模型

转自http://www.cnblogs.com/jerrylead 1判别模型与生成模型 上篇报告中提到的回归模型是判别模型,也就是根据特征值来求结果的概率。形式化表示为,在参数确定的情...
  • hqh45
  • hqh45
  • 2015年03月18日 15:49
  • 1045

模型车牌生成

  • 2013年11月28日 16:42
  • 869KB
  • 下载

使用判别训练的部件模型进行目标检测

使用判别训练的部件模型进行目标检测 Pedro F. Felzenszwalb, Ross B.Girshick, David McAllester and Deva Ramanan   ...

飞机模型生成软件

  • 2008年06月13日 01:12
  • 881KB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:生成模型和判别模型
举报原因:
原因补充:

(最多只允许输入30个字)