判别式模型与生成式模型的区别

产生式模型(Generative Model)与判别式模型(Discrimitive Model)是分类器常遇到的概念，它们的区别在于：

对于输入x，类别标签y：
产生式模型估计它们的联合概率分布P(x,y)
判别式模型估计条件概率分布P(y|x)

公式上看

生成模型： 学习时先得到 P(x,y)P(x,y)，继而得到 P(y|x)P(y|x)。预测时应用最大后验概率法（MAP）得到预测类别 yy。 
判别模型： 直接学习得到P(y|x)P(y|x)，利用MAP得到 yy。或者直接学得一个映射函数 y=f(x)y=f(x)。

直观上看

生成模型： 关注数据是如何生成的 
判别模型： 关注类别之间的差别

 

我们先从直观上来理解一下：

生成模型： 源头导向。尝试去找到底这个数据是怎么产生的，然后再对一个信号进行分类。基于你学习到的生成假设，判断哪个类别最有可能产生这个信号，这个信号就属于那个类别。
判别模型： 差别导向。并不关心数据是怎么生成的，它只关心信号之间的差别，然后用差别来简单对给定的一个信号进行分类。

再深入理解

监督学习的任务：学习一个模型，应用这一模型，对给定的输入预测相应的输出。 
这一模型的一般形式为一个决策函数或者条件概率分布： 
1. 决策函数 y=f(x)y=f(x)直接得到 输入 xx 到 输出 yy（某个类别）的映射函数。（例如神经网络和SVM等属于这种） 
2. 条件概率分布P(y|x)P(y|x)预测时用 最大后验概率(MAP)  y=argmaxyiP(yi|x)y=argmaxyiP(yi|x)的方法决定输出类别 yy。（例如贝叶斯分类器就属于这种） 
 
监督学习方法又可以分为生成方法(generative approach)和判别方法(discriminative approach)。所学到的模型分别为生成模型(generative model)和判别模型(discriminative model)。

 

生成模型

先由数据学习联合概率分布P(x,y)P(x,y)和先验概率分布P(x)P(x)，然后求出条件概率分布P(y|x)=P(x,y)/P(x)P(y|x)=P(x,y)/P(x)作为预测的模型，即得到生成模型:P(y|x)=P(x,y)P(x)P(y|x)=P(x,y)P(x) 生成方法强调的是：通过得到 P(x,y)P(x,y)，继而得到 P(y|x)P(y|x)。

这样的方法之所以称为生成方法，是因为模型表示了给定输入 xx 产生输出 yy 的生成关系。这种方法一般建立在统计学和Bayes理论的基础之上。

特点

从统计的角度表示数据的分布情况，能够反映同类数据本身的相似度，但它不关心到底划分各类的那个分类边界在哪。
生成方法能还原出联合概率分布，而判别方法不能
生成方法的学习收敛速度更快、即当样本容量增加的时候，学到的模型可以更快地收敛于真实模型
当存在隐变量时，仍可以用生成方法学习，此时判别方法不能用

典型的生成模型

## 生成式模型
1. 判别式分析
2. 朴素贝叶斯Native Bayes
3. 混合高斯型Gaussians
4. K近邻KNN
5. 隐马尔科夫模型HMM
6. 贝叶斯网络
7. sigmoid belief networks
8. 马尔科夫随机场Markov random fields
9. 深度信念网络DBN
10. 隐含狄利克雷分布简称LDA(Latent Dirichlet allocation)
11. 多专家模型（the mixture of experts model）
 

 

判别模型

判别方法由数据直接学习决策函数f(x)f(x)或者条件概率分布P(y|x)P(y|x)作为预测的。判别模型利用正负例和分类标签，关注在判别模型的边缘分布。 
判别方法强调的是：对给定的输入xx，应该预测什么样的输出 yy 。

特点

判别方法寻找不同类别之间的最优分类面，反映的是异类数据之间的差异
判别方法利用了训练数据的类别标识信息，直接学习的是条件概率P(Y|X)或者决策函数f(X)，直接面对预测，往往学习的准确率更高；
由于直接学习条件概率P(Y|X)或者决策函数f(X)，可以对数据进行各种程度上的抽象、定义特征并使用特征，因此可以简化学习问题。
缺点是不能反映训练数据本身的特性

## 判别式模型
1. 线性回归linear regression
2. 逻辑回归logic regression
3. 神经网络NN
4. 支持向量机SVM
5. 高斯过程Gaussian process
6. 条件随机场CRF
7. CART(Classification and regression tree)
8. Boosting