判别模型(descriminative model)+生成模型(generative model)

转载 2013年12月04日 19:13:18

判别模型(descriminative model)+生成模型(generative model)

原文地址:http://blog.sina.com.cn/s/blog_4c740ac00100vfew.html

   

http://en.wikipedia.org/wiki/Generative_model

http://workingmidi.blogspot.com/2007/06/generative-model.html

http://blog.csdn.net/hitmonkey/archive/2008/05/15/2448906.aspx

以前对这两个概念非常模糊,今天从网上找到了关于这两个概念的两种风格的解释,比较一下!
第一种风格:

For a data sample: x and it class lable:,y,
要检测图像中的淋巴结,有很多positive,很多的negetive。
Discrimitive model: p(y|x), 给定x,算y。

Generative model:和 discrimitive model的区别:
Generative model focus
在自己的inclass 本身,不care 到底 decision boundary 在哪。
Generative model 实际上带的information 要比discrimitive model rich,
因为假设有generative model, 两类的,就完全得到了p(x|y),而discrimitive model只care
decision boundary。这里说的generative model 和 discrimitive
model,在行业里,这个说法是通用的。
由Generative model 可以得到 discrimitive model, 但由discrimitive model得不到
generative model。因为需要用到P(x), 如果只是label的话,p(y)很简单,但为什么不能直接用Generative
model 呢?

优缺

Discrimitive model: 相当于在图像上scan 一下,detection, 用一个path,在不同的scale
上search, 每一词看probability, 在SVM上是positive 还是negetive。
Discrimitive 比较easy to learn, 给出正负例,给出lable, focus ondiscrimitive
model marginal distribution。 某种意义上,比generativemodel 要简单,但power是
limited, 可以告诉你的时1还是2,但没有办法把整个场景描述出来。
P(x|y) P(y)
当一个分类,没有negetive,研究single class,比discrimitive model flex 多,learning和
computing 要比 discrimitive model 复杂得多

第二种解释

Discriminative Model是判别模型,又可以称为条件模型,或条件概率模型。
Generative Model是生成模型,又叫产生式模型。

二者的本质区别是
discriminative model 估计的是条件概率分布(conditional
distribution)p(class|context)
generative model 估计的是联合概率分布(joint probabilitydistribution)p()
常见的Generative Model主要有:
– Gaussians, Naive Bayes, Mixtures of multinomials
– Mixtures of Gaussians, Mixtures of experts, HMMs
– Sigmoidal belief networks, Bayesian networks
– Markov random fields

常见的Discriminative Model主要有:
– logistic regression
– SVMs
– traditional neural networks
– Nearest neighbor

Successes of Generative Methods:

NLP
– Traditional rule-based or Boolean logic systems
Dialog and Lexis-Nexis) are giving way to statistical
approaches (Markov models and stochastic context
grammars)
Medical Diagnosis
– QMR knowledge base, initially a heuristic expert
systems for reasoning about diseases and symptoms
been augmented with decision theoretic formulation
Genomics and Bioinformatics
– Sequences represented as generative HMMs

主要应用Discriminative Model:

Image and document classification
Biosequence analysis
Time series prediction

Discriminative Model缺点:
Lack elegance of generative
– Priors, structure, uncertainty
Alternative notions of penalty functions,
regularization, kernel functions

Feel like black-boxes
– Relationships between variables are not explicit
and visualizable

Bridging Generative and Discriminative:
Can performance of SVMs be combined
elegantly with flexible Bayesian statistics?

Maximum Entropy Discrimination marries
both methods
– Solve over a distribution of parameters (a
distribution over solutions)

[机器学习入门] 李宏毅机器学习笔记-19 (Deep Generative Model-part 2:深度生成模型-part 2)

[机器学习入门] 李宏毅机器学习笔记-19 (Deep Generative Model-part 2:深度生成模型-part 2) PDF VIDEOWhy VAE? 用VAE,从code...

机器学习入门系列05,Classification: Probabilistic Generative Model(分类:概率生成模型)

分类模型;先验概率;高斯分布的应用;最大似然估计的方法;推导后验概率等...

[机器学习入门] 李宏毅机器学习笔记-18 (Deep Generative Model-part 1:深度生成模型-part 1)

[机器学习入门] 李宏毅机器学习笔记-18 (Deep Generative Model-part 1:深度生成模型-part 1) PDF VIDEOCreation 据说在费曼死后,人们...

[机器学习入门] 李宏毅机器学习笔记-5(Classification- Probabilistic Generative Model;分类:概率生成模型)

[机器学习] 李宏毅机器学习笔记-5(Classification: Probabilistic Generative Model;分类:概率生成模型)ClassificationHow to do ...

[机器学习入门] 李宏毅机器学习笔记-20 (Deep Generative Model-part 3:深度生成模型-part 3)

[机器学习入门] 李宏毅机器学习笔记-20 (Deep Generative Model-part 3:深度生成模型-part 3) PDF VIDEO 上接part 2,VAE从来没有去学...

判别模型(Discriminative model)和生成模型(Generative model)

说明生成算法和判别算法之间的区别。判别算法主要包括:SVM,逻辑回归等;生成算法主要包括:朴素贝叶斯,HMM等...

生成模型(generative model)和判别模型(discriminative model)

在看论文和机器学习教材的时候,经常会看到生成模型和判别模型,一致对着两个模型概念很模糊,在这里自己做一个小结。   在后面介绍这个两个模型时,我们以分类问题为例,以加深理解。我们都知道,分类问题可以分...

判别模型(discriminative model) 和 生成模型(generative model)

http://blog.sciencenet.cn/home.php?mod=space&uid=248173&do=blog&id=227964 http://www.gooseeker.com/...
  • davidie
  • davidie
  • 2013年04月24日 17:12
  • 739

判决模型(discriminative model)和生成模型(generative model)

判别模型 和 生成模型 已有 4267 次阅读 2009-4-24 15:15 |个人分类:NLP|系统分类:科研笔记 【摘要】     - 生成模型:无穷样本==》概率密度模型...

判别式模型与产生式模型解析(Discriminative Model vs. Generative Model)

学习Machine Learning的朋友们一定会接触到两个概念,判别式模型(DiscriminativeModel)和产生式模型(Generative Model)。很多技术贴都尝试对二者进行详细的...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:判别模型(descriminative model)+生成模型(generative model)
举报原因:
原因补充:

(最多只允许输入30个字)