有监督学习和无监督学习的区别
http://blog.sina.com.cn/s/blog_56c221b00100gjl6.html
判别式模型和产生式模型 (discriminative model and generative model)
http://blog.163.com/huai_jing@126/blog/static/1718619832011227757554/
一、有监督学习和无监督学习的区别
有监督学习:对具有概念标记(分类)的训练样本进行学习,以尽可能对训练样本集外的数据进行标记(分类)预测。这里,所有的标记(分类)是已知的。因此,训练样本的岐义性低。
无监督学习:对没有概念标记(分类)的训练样本进行学习,以发现训练样本集中的结构性知识。这里,所有的标记(分类)是未知的。因此,训练样本的岐义性高。聚类就是典型的无监督学习。
二、判别式模型和产生式模型 (discriminative model and generative model)
判别式模型(discriminative model) | 产生式模型(generative model) | |
特点 | 寻找不同类别之间的最优分类面,反映的是异类数据之间的差异 | 对后验概率建模,从统计的角度表示数据的分布情况,能够反映同类数据本身的相似度 |
区别(假定输入x,类别标签y) | 估计的是条件概率分布(conditional distribution) : P(y|x) | 估计的是联合概率分布(joint probability distribution: P(x, y), |
联系 | 由产生式模型可以得到判别式模型,但由判别式模型得不到产生式模型。 | |
常见模型 | – logistic regression | –Gaussians, Naive Bayes |
优点 | 1)分类边界更灵活,比使用纯概率方法或产生式模型更高级; 2)能清晰的分辨出多类或某一类与其他类之间的差异特征; 3)在聚类、viewpoint changes, partial occlusion and scale variations中的效果较好; 4)适用于较多类别的识别; 5)判别模型的性能比产生式模型要简单,比较容易学习。 | 1)实际上带的信息要比判别模型丰富; 2)研究单类问题比判别模型灵活性强; 3)模型可以通过增量学习得到; 4)能用于数据不完整(missing data)情况。 |
缺点 | 1)不能反映训练数据本身的特性。能力有限,可以告诉你的是1还是2,但没有办法把整个场景描述出来; | 1) Tend to produce a significant number of false positives. This is particularly true for object classes which share a high visual similarity such as horses and cows; |
性能 | 较好(性能比生成模型稍好些,因为利用了训练数据的类别标识信息,缺点是不能反映训练数据本身的特性) | 较差 |
主要应用 | Image and document classification | NLP(natural language processing) |