【机器学习】判别模型和生成模型

判别式模型，就是只有一个模型，你把测试用例往里面一丢，label就出来了，如SVM。生成式模型，有多个模型(一般有多少类就有多少个)，你得把测试用例分别丢到各个模型里面，最后比较其结果，选择最优的作为label，如朴素贝叶斯。

 

一、生成式模型
朴素贝叶斯
K近邻(KNN)
混合高斯模型
隐马尔科夫模型(HMM)
贝叶斯网络
Sigmoid Belief Networks
马尔科夫随机场(Markov Random Fields)
深度信念网络(DBN)
二、判别式模型
线性回归(Linear Regression)
逻辑斯蒂回归(Logistic Regression)
神经网络(NN)
支持向量机(SVM)
高斯过程(Gaussian Process)
条件随机场(CRF)
CART(Classification and Regression Tree)

 

 

【模型范例】
假设你现在有一个分类问题，x是特征，y是类标记。用生成模型学习一个联合概率分布P(x，y)，而用判别模型学习一个条件概率分布P(y|x)。用一个简单的例子来说明这个这个问题。假设x就是两个(1或2)，y有两类(0或1)，有如下如下样本(1，0)、(1，0)、(1，1)、(2，1)
则 学习到的联合概率分布(生成模型)如下：