产生式模型与判别式模型的区别

产生式模型(Generative Model)与判别式模型(Discrimitive Model)是分类器常遇到的概念，它们的区别在于：

• 对于输入x，类别标签y：
  
  • 产生式模型估计它们的联合概率分布P(x,y)
  • 判别式模型估计条件概率分布P(y|x)
• 产生式模型可以根据贝叶斯公式得到判别式模型，但反过来不行。

Andrew Ng在NIPS2001年有一篇专门比较判别模型和产生式模型的文章：
On Discrimitive vs. Generative classifiers: A comparision of logistic regression and naive Bayes

判别式模型常见的主要有：

• Logistic Regression
• SVM
• Traditional Neural Networks
• Nearest Neighbor
• CRF
• Linear Discriminant Analysis
• Boosting
• Linear Regression

产生式模型常见的主要有：

• Gaussians
• Naive Bayes
• Mixtures of Multinomials
• Mixtures of Gaussians
• Mixtures of Experts
• HMMs
• Sigmoidal Belief Networks, Bayesian Networks
• Markov Random Fields
• Latent Dirichlet Allocation