机器学习中的判别模型和生成模型

原创 2016年08月29日 15:13:43

两个模型是啥

我们从几句话进入这两个概念:
1、机器学习分为有监督的机器学习和无监督的机器学习;
2、有监督的机器学习就是已知训练集数据的类别情况来训练分类器,无监督的机器学习就是不知道训练集的类别情况来训练分类器;
3、所以说,有监督的机器学习可以抽象为一个分类task,而无监督的基本完成的是聚类;
4、有监督的机器学习中,我们可以概述为通过很多有标记的数据,训练出一个模型,然后利用这个,对输入的X进行预测输出的Y。这个模型一般有两种:

决策函数:Y=f(X)
条件概率分布:P(Y|X)

5、根据通过学习数据来获取这两种模型的方法,我们可以分为判别方法和生成方法;

6、概念正式介绍

判别方法:由数据直接学习决策函数Y=f(X)或条件概率分布P(Y|X)作为预测模型,即判别模型。判别方法关心的是对于给定的输入X,应该预测什么样的输出Y。

数据直接学习决策函数Y=f(X)或条件概率分布P(Y|X)得到的预测模型,就是判别模型

生成方法:由数据学习联合概率分布P(X,Y), 然后由P(Y|X)=P(X,Y)/P(X)求出概率分布P(Y|X)作为预测的模型。该方法表示了给定输入X与产生输出Y的生成关系

P(Y|X)作为的预测的模型就是生成模型

两个模型的范例

生成模型:朴素贝叶斯、隐马尔可夫(em算法)
判别模型:k近邻法、感知机、决策树、逻辑回归、线性回归、最大熵模型、支持向量机(SVM)、提升方法、条件随机场(CRF)

对比

1、生成模型可以还原出联合概率分布(还原数据本身相似度),而判别方法不能;
2、生成方法的学习收敛速度更快,当样本容量增加的时候,学到的模型可以更快的收敛于真实模型;
3、当存在隐变量时,仍可以利用生成方法学习,此时判别方法不能用;
4、判别学习不能反映训练数据本身的特性,但它寻找不同类别之间的最优分类面,反映的是异类数据之间的差异,直接面对预测,往往学习的准确率更高,由于直接学习P(Y|X)或Y=f(X),从而可以简化学习;
5、简单的说,生成模型是从大量的数据中找规律,属于统计学习;而判别模型只关心不同类型的数据的差别,利用差别来分类。


参考文章:
http://blog.csdn.net/zouxy09/article/details/8195017
http://www.cnblogs.com/kaituorensheng/p/3379170.html
http://www.zhihu.com/question/20446337

版权声明:本文为博主原创文章,转载时请注明出处URL,谢谢大家~

生成模型与判别模型

生成模型与判别模型 zouxy09@qq.com http://blog.csdn.net/zouxy09        一直在看论文的过程中遇到这个问题,折腾了不少时间,然后是下面的一点理解,...
  • zouxy09
  • zouxy09
  • 2012年11月17日 23:24
  • 68700

生成模型和判别模型的理解

【摘要】     - 生成模型:无穷样本==》概率密度模型 = 产生模型==》预测     - 判别模型:有限样本==》判别函数 = 预测模型==》预测 【简介】 简单的说,假设o是观察值...

生成模型 与 判别模型

判别式模型与生成式模型的区别 产生式模型(Generative Model)与判别式模型(Discrimitive Model)是分类器常遇到的概念,它们的区别在于: 对于输入x,...

斯坦福第五章:判别学习方法和生成学习方法的区别

之前的视频中讲到的方法都是直接对问题进行求解,比如二类分类问题,不管是感知器算法还是逻辑斯蒂回归算法,都是在解空间中寻找一条直线从而把两种类别的样例分开,对于新的样例只要判断在直线的哪一侧即可;这种直...

深度学习与生成式模型

Main points 阐述生成式模型的求解目标(联合分布),应用方式(判别、生成分布的样本)。 阐释深度学习与生成式模型的关系; 调研深度学习在生成式模型方面的发展,分类阐述...

生成模型与判别模型的区别

本文章属于转载,目前自己的水平还不能透彻的对它进行更详细的扩充,目的是为了以后自己学习方便,希望原博主不要介意,已表明出处,O(∩_∩)O 原文在here 一、决策函数Y=f(X)或者条件概率...

判别模型(Discriminative model)和生成模型(Generative model)

说明生成算法和判别算法之间的区别。判别算法主要包括:SVM,逻辑回归等;生成算法主要包括:朴素贝叶斯,HMM等...

生成模型(Generative)和判别模型(Discriminative)

生成模型(Generative)和判别模型(Discriminative)    方法
  • roypi
  • roypi
  • 2014年09月23日 23:55
  • 1366

机器学习---生成模型与判别模型

生成模型(Generative Model)是相对于判别模型(Discriminative Model)定义的。他们两个都用于有监督学习。监督学习的任务就是从数据中学习一个模型(也叫分类器),应用这...

判别式模型与生成式模型

判别式模型与生成式模型的区别 产生式模型(Generative Model)与判别式模型(Discrimitive Model)是分类器常遇到的概念,它们的区别在于: 对于输入x,类别标签y:...
  • wolenski
  • wolenski
  • 2012年09月16日 20:34
  • 26760
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:机器学习中的判别模型和生成模型
举报原因:
原因补充:

(最多只允许输入30个字)