生成式模型和判别式模型

对于输入x，类别标签y：

生成式模型：估计它们的联合概率分布P(x,y)，生成数据的分布。

特点：寻找不同类别之间的最优分类面，反映的是异类数据之间的差异。

判别式模型：判别式模型估计条件概率分布P(y|x)，判别数据的输出量。

特点：对后验概率建模，从统计的角度表示数据的分布情况，能够反映同类数据本身的相似度。

二者联系：由产生式模型可以得到判别式模型，但由判别式模型得不到产生式模型。

————————————————————————————————————————————————————

生成式模型                                                                                           判别式模型

朴素贝叶斯（NB）                                                                              线性回归(Linear Regression)

                                                                                                            逻辑斯蒂回归(Logistic Regression)

混合高斯模型                                                                                       神经网络(NN)

隐马尔科夫模型(HMM)                                                                       支持向量机(SVM)

贝叶斯网络                                                                                          高斯过程(Gaussian Process)

Sigmoid Belief Networks                                                                      条件随机场(CRF)

马尔科夫随机场(Markov Random Fields)                                       CART(Classification and Regression Tree)

深度信念网络(DBN)                                                                             线性判别分析(Linear Discriminant Analysis)

主题生成模型（Latent Dirichlet Allocation）                                       提升模型（Boosting）

                                                                                                           K近邻（KNN）       

————————————————————————————————————————————————————

在实际分类问题中，判别模型可以直接用来判断特征的类别情况，而生成模型，需要加上贝叶斯法则，然后应用到分类中。但是，生成模型的概率分布可以还有其他应用，就是说生成模型更一般更普适。不过判别模型更直接，更简单。两种方法目前交叉较多。

附李航博士《统计学习方法》总结