判别模型和生成模型

	判别模型	生成模型
特点	寻找不同类别之间的最优分类面，反映的是异类数据之间的差异	对后验概率建模，从统计的角度表示数据的分布情况，能够反映同类数据本身的相似度
区别(假定输入x, 类别标签y)	估计的是条件概率分布(conditional distribution) : P(y	x)
联系	由判别式模型得不到产生式模型	由产生式模型可以得到判别式模型
常见模型	– logistic regression – SVMs – traditional neural networks – Nearest neighbor	–Gaussians, Naive Bayes –Mixtures of Gaussians, Mixtures of experts, HMMs–Sigmoidal belief networks, Bayesian networks– Markov random fields

通常，判别式模型 discriminative model 计算条件概率，而生成式模型 generative model 计算联合概率分布。