机器学习-生成模型和判别模型

生成模型： HMM Bayes LDA

计算思路：通过学习全部样本的先验和条件概率分布，求出后验概率

特征： 可得到联合概率分布P(XY)

判别模型：SVM  knn 决策树，LR CRF

计算思路：直接学习P(Y|X) 或者学习决策边界

特征： 不可学的到的联合概率分布P(XY)

直接对比：

1 生成式模型举例：

利用生成模型是根据山羊的特征首先学习出一个山羊的模型，然后根据绵羊的特征学习出一个绵羊的模型，然后从这只羊中提取特征，放到山羊模型中看概率是多少，再放到绵羊模型中看概率是多少，哪个大就是哪个，判别式模型举例： 要确定一个样是山羊还是绵羊，用判别模型的方法是从历史数据学习到模型，然后通过提取这只羊的特征来预测出这只羊是山羊的概率，是绵羊的概率。

2 只有生成模型能检测异常值，由于生成模型完全学习了 所有的分布，所以它可以用来检测某个值是否异常，P(X) 是否太小

3 生成模型的处理过程会告诉你关于数据的一些统计信息p(x|y) 分布

4 判定模型，就是只有一个模型，你把测试用例往里面一丢，label 就出来了，如SVM，生成模型，有多个模型（一般有多少类就有多少个）。你得把测试用例分别丢到各个模型里面，最后比较其结果，选择最优的作为label，如朴素贝叶斯。