参考文献:https://blog.csdn.net/u012101561/article/details/52814571
生成模型特点:
生成模型估计的是联合概率分布,p(y, x)=p(y|x)*p(x),由数据学习联合概率密度分布P(X,Y),然后求出条件概率分布P(Y|X)作为预测的模型,即生成模型:P(Y|X)= P(X,Y)/ P(X)。基本思想是首先建立样本的联合概率概率密度模型P(X,Y),然后再得到后验概率P(Y|X),再利用它进行分类。生成方法关心的是给定输入x产生输出y的生成关系。
判别模型特点:
判别模型估计的是条件概率分布,p(y|x),是给定观测变量x和目标变量y的条件模型。由数据直接学习决策函数y=f(X)或者条件概率分布P(y|x)作为预测的模型。判别方法关心的是对于给定的输入X,应该预测什么样的输出Y。
生成模型优点:
- 生成给出的是联合分布,不仅能够由联合分布计算条件分布(反之则不行),还可以给出其他信息;
- 生成模型收敛速度比较快,即当样本数量较多时,生成模型能更快地收敛于真实模型。
- 生成模型能够应付存在隐变量的情况,比如混合高斯模型就是含有隐变量的生成方法。
生成模型缺点:
- 需要更多的样本和更多计算,尤其是为了更准确估计类别条件分布,需要增加样本的数目.
- 实践中多数情况下判别模型效果更好。
判别模型优点:
- 与生成模型缺点对应,首先是节省计算资源,另外,需要的样本数量也少于生成模型。
- 准确率往往较生成模型高。
- 由于直接学习,而不需要求解类别条件概率,所以允许我们对输入进行抽象(比如降维、构造等),从而能够简化学习问题。
判别模型缺点:
缺点即是生成模型的优点。
两者之间的关系:
由生成模型可以得到判别模型,但由判别模型得不到生成模型。
典型应用:
生成模型:
朴素贝叶斯方法、隐马尔可夫模型
判别模型:
k近邻法、感知机、决策树、逻辑斯谛回归模型、最大熵模型、支持向量机、提升方法、条件随机场