生成式模型 vs 判别式模型

对于样本x，预测其类别y，即计算 p(y|x) ，简单来说

生成式模型：

是对联合概率 p(x,y) 进行建模，然后利用贝叶斯公式 p(y|x) = p(x,y) / p(x) 进行计算

朴素贝叶斯
混合高斯模型
隐马尔科夫模型(HMM)
贝叶斯网络
Sigmoid Belief Networks
马尔科夫随机场(Markov Random Fields)
深度信念网络(DBN)

判别式模型：

直接对条件概率 p(y|x) 建模

K近邻（KNN）
线性回归(Linear Regression)
逻辑斯蒂回归(Logistic Regression)
神经网络(NN)
支持向量机(SVM)
高斯过程(Gaussian Process)
条件随机场(CRF)
CART(Classification and Regression Tree)

 

(来自https://zhuanlan.zhihu.com/p/74586507)

判别式模型特点：

判别式模型直接学习决策函数 Y=f(X) 或者条件概率P(Y|X)  ，不能反映训练数据本身的特性，但它寻找不同类别之间的最优分裂面，反映的是异类数据之间的差异，直接面对预测往往学习准确度更高。具体来说有以下特点：

• 对条件概率建模，学习不同类别之间的最优边界。
• 捕捉不同类别特征的差异信息，不学习本身分布信息，无法反应数据本身特性。
• 学习成本较低，需要的计算资源较少。
• 需要的样本数可以较少，少样本也能很好学习。
• 预测时拥有较好性能。
• 无法转换成生成式。

生成式模型的特点：

生成式模型学习的是联合概率密度分布 P(X,Y) ，可以从统计的角度表示分布的情况，能够反映同类数据本身的相似度，它不关心到底划分不同类的边界在哪里。生成式模型的学习收敛速度更快，当样本容量增加时，学习到的模型可以更快的收敛到真实模型，当存在隐变量时，依旧可以用生成式模型，此时判别式方法就不行了。具体来说，有以下特点：

• 对联合概率建模，学习所有分类数据的分布。
• 学习到的数据本身信息更多，能反应数据本身特性。
• 学习成本较高，需要更多的计算资源。
• 需要的样本数更多，样本较少时学习效果较差。
• 推断时性能较差。
• 一定条件下能转换成判别式。