Discriminative model vs Generative model

Discriminative model(判别模型): 

对p(y|x)建模，只能计算在给定特征x情况下，目标y出现的概率。可以认为是对特征x的判断，故称为判别模型。一般都是监督训练，很难改造成无监督的。在分类问题上可能比generative model好一些。

Generative model(生成模型): 

对p(x|y)和p(y)建模，利用这个模型，我们可以模拟生成各个特征数据，故而称为生成模型。可以对变量之间的复杂关系建模，一般比discriminative model性能好。

举个例子，假设我们的特征是“颜色”、“味道”、“形状”，目标是“葡萄”和“香蕉”。那么训练得到的判别模型会告诉我们：“颜色=红色，味道=酸，形状=圆”的样本是葡萄的概率是0.8，而“颜色=黄色，味道=甜，形状=长”的是香蕉的概率是0.9；而生成模型会告诉你：如果是葡萄，那“颜色=黄/红”的概率分别是多少，“味道=酸/甜”的概率又分别是多少。