【机器学习】基础 判别模型生成模型

10人阅读 评论(0) 收藏 举报
分类:

- 概念区分及代表算法:

两者均属于监督模型范畴,最直接的区分依据是,从给定的训练数据,学习到的目标概率分布不同。根据训练数据,

生成模型,学习联合概率分布P(X,Y)。然后求出条件概率分布P(Y|X)作为预测模型。公式:P(Y|X)=P(X,Y)/P(X)。代表算法有:朴素贝叶斯,HMM等。通常只有一个模型,输入实例,得到结果。

判别模型,学习条件概率分布P(Y|X),或者直接学习判别决策函数f(X)。代表算法有k近邻算法,决策树、逻辑回归(学习P(Y|X))、最大熵模型、感知机(学习决策函数f(X))、支持向量机,感知机、提升算法,条件随机场。通常有多个模型(n类n模型),输入实例,比较模型结果,输出最合适结果。

角度1,结合维基百科上的案例来看:



角度2,博文机器学习之判别式模型和生成式模型 - nolonely - 博客园 举了一个例子:

判别式模型举例:要确定一个羊是山羊还是绵羊,用判别模型的方法是从历史数据中学习到模型,然后通过提取这只羊的特征来预测出这只羊是山羊的概率,是绵羊的概率。

生成式模型举例:利用生成模型是根据山羊的特征首先学习出一个山羊的模型,然后根据绵羊的特征学习出一个绵羊的模型,然后从这只羊中提取特征,放到山羊模型中看概率是多少,在放到绵羊模型中看概率是多少,哪个大就是哪个。

细细品味上面的例子,判别式模型是根据一只羊的特征可以直接给出这只羊的概率(比如logistic regression,这概率大于0.5时则为正例,否则为反例),而生成式模型是要都试一试,最大的概率的那个就是最后结果

角度3,从先验后验似然角度。

生成模型和判别模型最终都要学习出一个后验概率,即P(Y|X),根据贝叶斯公式,P(Y|X)=[P(Y)*P(X|Y)]/P(X),后验正比于先验和似然。

如果我们从训练数据中,获取先验和似然,然后乘起来,得到后验,再做决策,叫做生成模型。即,用乘法生成后验分布。如朴素贝叶斯,可参考李航书中P48页公式4.6形式。

如果我们不管先验后验,直接假设后验分布,训练数据获得模型,这叫判别模式。如逻辑回归。

补充概念,

后验概率是P(Y|X),即在看到新的数据后,我们要计算的该假设的概率。

先验概率是P(Y),是输入的 分布,在得到新数据之前,某一个假设的概率。

似然是P(X|Y),是参数的分布,在该假设下,这一数据/参数的概率。

标准化常量P(X)是在任何假设下,得到这一数据的概率。


- 两者优劣:

生成模型:可还原联合概率分布P(X,Y);样本容量增加时,学习模型收敛速度快;存在隐变量时,仍然可以用生成学习学习方法,但不能用判别方法;可以做异常点检测

判别模型:直接面对预测,准确率高;不需要像生成模型一样学习多个分布进行比较,效率高;可以对数据进行抽象,即做特征工程,如创建新特征,简化学习问题。


参考书籍:

李航:统计学习方法

知乎:politer

查看评论

机器学习---生成模型与判别模型

生成模型(Generative Model)是相对于判别模型(Discriminative Model)定义的。他们两个都用于有监督学习。监督学习的任务就是从数据中学习一个模型(也叫分类器),应用这...
  • u012101561
  • u012101561
  • 2016-10-14 11:31:05
  • 1382

机器学习中的判别模型和生成模型

两个模型是啥我们从几句话进入这两个概念: 1、机器学习分为有监督的机器学习和无监督的机器学习; 2、有监督的机器学习就是已知训练集数据的类别情况来训练分类器,无监督的机器学习就是不知道训练集的类别...
  • lk7688535
  • lk7688535
  • 2016-08-29 15:13:43
  • 2948

【机器学习】生成模型和判别模型

上篇文章提到了Linear SVM 和 LR 的联系和区别,提到了它们都是判别模型。但是什么是判别模型呢,与其相对应的生成模型又有哪些呢。本文来总结一下。以下部分主要参考了李航那本《统计学习方法》 判...
  • haolexiao
  • haolexiao
  • 2017-04-18 01:24:05
  • 676

【机器学习基础】生成模型和判别模型

监督学习的任务就是学习一个模型(或者得到一个目标函数),应用这一模型,对给定的输入预测相应的输出。这一模型的一般形式为一个决策函数Y=f(X),或者条件概率分布P(Y|X)。 监督学习方法又可以分为生...
  • JasonDing1354
  • JasonDing1354
  • 2014-12-03 14:39:30
  • 2050

机器学习:生成模型和判别模型

1 生成模型和判别模型的定义 对o和s进行统计建模,通常有两种方式: (1)判别模型 基本思想:有限样本条件下建立判别函数p(o|s),不考虑样本的产生模型,直接研究预测模型p(s|o),即...
  • ztf312
  • ztf312
  • 2016-03-18 21:34:26
  • 3206

生成模型与判别模型的区别

本文章属于转载,目前自己的水平还不能透彻的对它进行更详细的扩充,目的是为了以后自己学习方便,希望原博主不要介意,已表明出处,O(∩_∩)O 原文在here 一、决策函数Y=f(X)或者条件概率...
  • qq_29133371
  • qq_29133371
  • 2016-05-23 10:08:27
  • 901

生成模型和判别模型,自己看完资料后总结

1. Ref:  http://blog.csdn.net/zouxy09/article/details/8195017  讲的非常清晰了。http://www.cnblogs.com/lifego...
  • u011939056
  • u011939056
  • 2017-03-19 22:06:16
  • 333

生成模型 与 判别模型

判别式模型与生成式模型的区别 产生式模型(Generative Model)与判别式模型(Discrimitive Model)是分类器常遇到的概念,它们的区别在于: 对于输入x,...
  • chlele0105
  • chlele0105
  • 2014-08-28 22:41:34
  • 1420

生成模型和判别模型的理解

【摘要】     - 生成模型:无穷样本==》概率密度模型 = 产生模型==》预测     - 判别模型:有限样本==》判别函数 = 预测模型==》预测 【简介】 简单的说,假设o是观察值...
  • u010159842
  • u010159842
  • 2015-07-24 16:15:14
  • 1827

机器学习基础---生成模型和判别模型

监督学习的任务就是从数据中学习一个模型(或者得到一个目标函数,也叫分类器),应用这一模型,对给定的输入X预测相应的输出Y。这个模型的一般形式为决策函数Y=f(X)或者条件概率分布P(Y|X)。 监督学...
  • ytusdc
  • ytusdc
  • 2017-10-17 19:59:30
  • 95
    个人资料
    持之以恒
    等级:
    访问量: 2万+
    积分: 657
    排名: 7万+
    文章存档