机器学习中的生成模型与判别模型

原创 2018年04月17日 20:56:18

机器学习中,监督学习模型主要有两种方式: 生成学习与判别学习。

  • 生成模型
原理:根据学习联合概率分布P(X,Y),求出条件概率分布 P(Y|X)做为预测模型。

          每一类单独学习模型,再用新的样本预测,在哪一类上预测概率最大,输出结果即为哪一类。

经典模型:朴素贝叶斯(Naive Bayes,NB

                 隐马尔可夫链(Hidden Markov Model,HMM


  • 判别模型

原理:直接学习决策函数,根据最终获得的条件概率分布决定预测类别。

          多类数据一起训练学习模型,新样本测试获取在各个类别上的预测概率,从而决定预测类别。

经典模型:K近邻(k-Nearest Neighbor,KNN

                 感知机(Perceptron)

                决策树(Decision Tree , DT)

                逻辑回归(logistic)

               支持向量机(SVM)

               最大熵模型(Maximum Entropy Model,MEM)

               提升方法(boosting)

               条件随机场(conditional random field,CRF)。


  • 两种模型的区别:

        由生成模型可以得到判别模型,但由判别模型得不到生成模型。 当存在隐变量(当我们找不到引起某一现象的原因的时候,我们就把这个在起作用,但是,无法确定的因素,叫“隐变量”) 时,仍可以利用生成方法学习,此时判别方法不能用。

         生成模型的特点:一般主要是对后验概率建模,从统计的角度表示数据的分布情况,能够反映同类数据本身的相似度。模型囊括的信息要比判别模型丰富;对单类问题灵活性强;模型可以由增量学习获取;适用于数据不完整情况下,但是学习和计算过程较为复杂。

         判别模型的特点:判别模型是寻找不同类别之间的最优分类面,反映的是异类数据之间的差异。分类边界更灵活,学习到的模型更为高级;可学习到多类样本之间的特征差异;性能远优于生成模型。但结果具有不确定性,无法反映数据本身的特性。


WDM驱动程序设计之编译安装篇

(作者:苏金国 2000年11月09日 13:26)设计开发好自己的WDM驱动程序后,为了运行该驱动程序,我们必须编译和安装它们。   ■编译设备驱动程序的方法   安装DDK后,在DDK程序组下有C...
  • ghj1976
  • ghj1976
  • 2000-11-27 15:26:00
  • 1610

机器学习---生成模型与判别模型

生成模型(Generative Model)是相对于判别模型(Discriminative Model)定义的。他们两个都用于有监督学习。监督学习的任务就是从数据中学习一个模型(也叫分类器),应用这...
  • u012101561
  • u012101561
  • 2016-10-14 11:31:05
  • 1398

机器学习中的判别模型和生成模型

两个模型是啥我们从几句话进入这两个概念: 1、机器学习分为有监督的机器学习和无监督的机器学习; 2、有监督的机器学习就是已知训练集数据的类别情况来训练分类器,无监督的机器学习就是不知道训练集的类别...
  • lk7688535
  • lk7688535
  • 2016-08-29 15:13:43
  • 2996

【机器学习】生成模型和判别模型

上篇文章提到了Linear SVM 和 LR 的联系和区别,提到了它们都是判别模型。但是什么是判别模型呢,与其相对应的生成模型又有哪些呢。本文来总结一下。以下部分主要参考了李航那本《统计学习方法》 判...
  • haolexiao
  • haolexiao
  • 2017-04-18 01:24:05
  • 684

机器学习:生成模型和判别模型

1 生成模型和判别模型的定义 对o和s进行统计建模,通常有两种方式: (1)判别模型 基本思想:有限样本条件下建立判别函数p(o|s),不考虑样本的产生模型,直接研究预测模型p(s|o),即...
  • ztf312
  • ztf312
  • 2016-03-18 21:34:26
  • 3209

【机器学习基础】生成模型和判别模型

监督学习的任务就是学习一个模型(或者得到一个目标函数),应用这一模型,对给定的输入预测相应的输出。这一模型的一般形式为一个决策函数Y=f(X),或者条件概率分布P(Y|X)。 监督学习方法又可以分为生...
  • JasonDing1354
  • JasonDing1354
  • 2014-12-03 14:39:30
  • 2055

生成模型与判别模型的区别

本文章属于转载,目前自己的水平还不能透彻的对它进行更详细的扩充,目的是为了以后自己学习方便,希望原博主不要介意,已表明出处,O(∩_∩)O 原文在here 一、决策函数Y=f(X)或者条件概率...
  • qq_29133371
  • qq_29133371
  • 2016-05-23 10:08:27
  • 911

生成模型和判别模型的理解

【摘要】     - 生成模型:无穷样本==》概率密度模型 = 产生模型==》预测     - 判别模型:有限样本==》判别函数 = 预测模型==》预测 【简介】 简单的说,假设o是观察值...
  • u010159842
  • u010159842
  • 2015-07-24 16:15:14
  • 1828

生成模型和判别模型,自己看完资料后总结

1. Ref:  http://blog.csdn.net/zouxy09/article/details/8195017  讲的非常清晰了。http://www.cnblogs.com/lifego...
  • u011939056
  • u011939056
  • 2017-03-19 22:06:16
  • 335

生成模型 与 判别模型

判别式模型与生成式模型的区别 产生式模型(Generative Model)与判别式模型(Discrimitive Model)是分类器常遇到的概念,它们的区别在于: 对于输入x,...
  • chlele0105
  • chlele0105
  • 2014-08-28 22:41:34
  • 1424
收藏助手
不良信息举报
您举报文章:机器学习中的生成模型与判别模型
举报原因:
原因补充:

(最多只允许输入30个字)