机器学习：生成式模型和判别式模型

决策函数Y=f(X)与条件概率分布P(Y|X)

决策函数Y=f(x)：输入一个x，它就输出一个y值，这个y与一个阈值比较，根据比较结果判定x属于哪个类别。

条件概率分布P(y|x)：输入一个x，它通过比较它属于所有类的概率，然后预测时应用最大后验概率法（MAP）即比较条件概率最大的类为x对应的类别。

举个例子，对于一个二分类问题：对于Y=f(x)形式的分类模型，如果输出Y大于某个阈值V就属于类w1，否则属于类w2；而对于P(y|x)形式的分类模型，分别计算条件概率，如果P(w1|x)大于P(w2|x)，x就属于类w1，否则属于类w2。

 

---

生成式模型与判别式模型

生成式模型（Generative Model）：由数据学习联合概率密度分布P(x,y)，然后生成条件概率分布P(y|x)，或者直接学得一个决策函数 Y=f(x)，用作模型预测。

判别式模型（Discriminative Model）：由数据直接学习决策函数f(x)或者条件概率分布P(y|x)作为预测。

 

---

异同点

1.生成模型和判别模型都属于监督学习的模型。

2.生成式模型可以根据贝叶斯公式得到条件概率分布P(y|x)，但反过来不行，即判别方法不能还原出联合概率分布P(x,y)。

3.生成方法学习联合概率密度分布P(x,y)，所以就可以从统计的角度表示数据的分布情况，能够反映同类数据本身的相似度，但它不关心到底划分各类的那个分类边界在哪；判别方法不能反映训练数据本身的特性，但它寻找不同类别之间的最优分类面，反映的是异类数据之间的差异。

 

---

常见模型分类

生成式模型：

• 判别式分析
• 朴素贝叶斯
• 混合高斯模型
• 隐马尔科夫模型（HMM）
• 贝叶斯网络
• Sigmoid Belief Networks
• 马尔可夫随机场（Markov Random Fields）
• 深度信念网络（DBN）

判别式模型：

• 线性回归（Linear Regression）
• 逻辑斯特回归（Logistic Regression）
• K近邻（KNN）
• 感知机
• 神经网络（NN）
• 支持向量机（SVM）
• 决策树
• 最大熵模型（maximum entropy model, MaxEnt）
• 高斯过程（Gaussian Process）
• 条件随机场（CRF）
• 区分度训练
• boosting方法

---

借用一个网友举的通俗易懂的例子

假如你的任务是识别一个语音属于哪种语言，对面一个人走过来，和你说了一句话，你需要识别出她说的到底是汉语、英语还是法语等。那么你可以有两种方法达到这个目的：

（1）学习每一种语言，你花了大量精力把汉语、英语和法语等都学会了，我指的学会是你知道什么样的语音对应什么样的语言。然后再有人过来对你说，你就可以知道他说的是什么语音.

（2）不去学习每一种语言，你只学习这些语言之间的差别，然后再判断（分类）。意思是指我学会了汉语和英语等语言的发音是有差别的，我学会这种差别就好了。

第一种方法就是生成方法，第二种方法是判别方法。

 

---

参考一篇比较判别式模型和生成式模型的paper： 
On Dicriminative vs. Generative classfier: A comparison of logistic regression and naive Bayes