生成模型与判别模型

引用李航老师《统计学习方法》

 

监督学习方法分为生成方法和判别方法，所学到的模型分别称为生成模型和判别模型。

1.典型的生成模型：朴素贝叶斯法、隐马尔科夫模型。

2.典型的判别模型：k近邻法、感知机、决策树、逻辑斯的回归模型、最大熵模型、支持向量机、提升方法、条件随机场等。

 

生成方法的特点：生成方法可以还原出联合概率分布P(X,Y)，二判别方法则不能：生成方法的收敛速度更快，即当样本容量增加的时候，学到的模型可以更快的收敛于真实模型；当存在隐变量时，仍可以使用生成学习方法，此时判别方法就不能用。

判别方法的特点：判别方法直接学习的是条件概率P(Y|X)或决策函数f(X)，直接面对预测，往往学习的准确率更高；由于直接学习P(Y|X)或f(X)，可以对数据进行各种程度上的抽象，定义特征并使用特征，因此可以简化学习问题。