1. Generative Model(生成模型)
1)生成模型学习联合概率分布 p(x,y);给定一个y,则可以计算(“生成”)其相应的X。
2)可通过Baye规则转换为p(y|x)<即p(y|x)= p(x,y)/p(x)=p(x|y)p(y)/p(x)>,然后进行分类。p(x,y)也可用于其它目的,如可用p(x,y)产生可能的(x,y)对。
3)为了分类一个信号,要分析数据是如何生成的。它的问题是:基于我的生成假设,哪个类最有可能产生此信号。
4)把一段语音进行语言分类:需要学习每种语言,然后根据学到的知识进行分类。
2. Discriminative Model (判别模型)
1)判别模型学习条件概念分布p(y|x)。又可以称为条件模型
2)p(y|x):表示给定样本x属于类别y的概率。
3)不管数据是如何生成的,只是简单地把给定的信号进行分类。
4)把一段语音进行语言分类:不学习任何语言,只是确定语言模型的差异,然后进行分类。
在分类任务中,判别模型优于生成模型。
3. 生成模型与判别模型的比较
4. 机器学习作为搜索假设空间
方法 搜索假设空间
Concept Learning Boolean Expressions
Decision Trees All Possible Trees
Neural Networks Weight Space