[机器学习笔记] 判别模型与生成模型

监督学习方法可以分为生成方法和判别方法。

判别模型
直接从训练数据中学习条件概率分布P(Y|X)或决策函数Y=f(X) 的方法为判别方法，学习到的模型是判别模型。
基本思想是，有限样本条件下，建立判别函数，不考虑样本的产生模型，直接研究预测模型。
学到了条件概率分布P(Y|X)或决策函数Y=f(X)，就可以用来判别新的输入X对应的输出Y 。
典型的判别模型有：感知机、K近邻、决策树、逻辑回归、支持向量机、提升方法、条件随机场。

生成模型
首先学习联合概率分布P(X, Y)，从而求得条件概率分布P(Y|X)的方法是生成方法，学习到的模型是生成模型。P(Y|X)= P(X,Y)/ P(X)
这样的方法之所以称为生成方法，是因为模型表示了给定输入X产生输出Y的生成关系。
基本思想是首先建立样本的联合概率概率密度模型P(X,Y)，然后再得到后验概率P(Y|X)，再利用它进行分类，就像上面说的那样。注意了哦，这里是先求出P(X,Y)才得到P(Y|X)的，然后这个过程还得先求出P(X)。P(X)就是你的训练数据的概率分布。
生成方法是学习数据的发布，所以需要更多的样本和更多计算，才能很好地描述数据的真正的分布。
典型的生成模型有：朴素贝叶斯、隐马尔可夫模型。

二者比较
生成模型更一般更普适。判别模型更直接，更简单。
实践中，多数情况下判别模型效果更好。

参考：李航《统计学习方法》第12章
zouxy09： http://blog.csdn.net/zouxy09/article/details/8195017