机器学习之判别式模型和生成式模型

判别式模型与生成式模型的区别

产生式模型(Generative Model)与判别式模型(Discrimitive Model)是分类器常遇到的概念，它们的区别在于：

对于输入x，类别标签y：
产生式模型估计它们的联合概率分布P(x,y)
判别式模型估计条件概率分布P(y|x)

判别式模型常见的主要有：

　　　　Logistic Regression

　　　　SVM

　　　　Traditional Neural Networks

　　　　Nearest Neighbor

　　　　CRF

　　　　Linear Discriminant Analysis

　　　　Boosting

　　　　Linear Regression

产生式模型常见的主要有：

              Gaussians

              Naive Bayes

              Mixtures of Multinomials

              Mixtures of Gaussians

              Mixtures of Experts

              HMMs

　　      Sigmoidal Belief Networks, Bayesian Networks

　　      Markov Random Fields

　　      Latent Dirichlet Allocation

两个模型的对比

生成式模型：

解释输入；
如果我们从概率模型中随机抽样，我们可以生成可能的观测数据样本

判别式模型：

做决策；
只是预测类标签（没有推论阶段）

生成模型会学习数据的分布；判别模型学习的是不同类型数据之间的区别，不学习数据内部特点。在分类问题上，判别模型会优于生成模型。 
判别模型求解的思路是：条件分布——>模型参数后验概率最大——->（似然函数*参数先验）最大——->最大似然 
生成模型的求解思路是：联合分布——->求解类别先验概率和类别条件概率 

参考：https://blog.csdn.net/wolenski/article/details/7985426