生成模型与判别模型

参考文献：https://blog.csdn.net/u012101561/article/details/52814571

生成模型特点：

生成模型估计的是联合概率分布，p(y, x)=p(y|x)*p(x)，由数据学习联合概率密度分布P(X,Y)，然后求出条件概率分布P(Y|X)作为预测的模型，即生成模型：P(Y|X)= P(X,Y)/ P(X)。基本思想是首先建立样本的联合概率概率密度模型P(X,Y)，然后再得到后验概率P(Y|X)，再利用它进行分类。生成方法关心的是给定输入x产生输出y的生成关系。

判别模型特点：

判别模型估计的是条件概率分布，p(y|x)，是给定观测变量x和目标变量y的条件模型。由数据直接学习决策函数y=f(X)或者条件概率分布P(y|x)作为预测的模型。判别方法关心的是对于给定的输入X，应该预测什么样的输出Y。

生成模型优点：

1. 生成给出的是联合分布，不仅能够由联合分布计算条件分布（反之则不行），还可以给出其他信息;
2. 生成模型收敛速度比较快，即当样本数量较多时，生成模型能更快地收敛于真实模型。
3. 生成模型能够应付存在隐变量的情况，比如混合高斯模型就是含有隐变量的生成方法。

生成模型缺点：

1. 需要更多的样本和更多计算，尤其是为了更准确估计类别条件分布，需要增加样本的数目.
2. 实践中多数情况下判别模型效果更好。

判别模型优点：

1. 与生成模型缺点对应，首先是节省计算资源，另外，需要的样本数量也少于生成模型。
2. 准确率往往较生成模型高。
3. 由于直接学习，而不需要求解类别条件概率，所以允许我们对输入进行抽象（比如降维、构造等），从而能够简化学习问题。

判别模型缺点：

缺点即是生成模型的优点。

两者之间的关系：

由生成模型可以得到判别模型，但由判别模型得不到生成模型。

典型应用：

生成模型：

朴素贝叶斯方法、隐马尔可夫模型

判别模型：

k近邻法、感知机、决策树、逻辑斯谛回归模型、最大熵模型、支持向量机、提升方法、条件随机场