判别式模型和生成式模型

判别式模型与生成式模型

生成式模型(Generative Model)与判别式模型(Discrimitive Model)是分类器常遇到的概念，它们的区别在于：（对于输入x，类别标签y）

1. 生成式模型估计它们的联合概率分布P(x,y)

2. 判别式模型估计决策函数F(X)或条件概率分布P(y|x)

3. 生成式式模型可以根据贝叶斯公式得到判别式模型，但反过来不行。

4.生成式模型关注数据是如何产生的，寻找的是数据分布模型；判别式模型关注数据的差异性，寻找的是分类面。

生成式模型

1. 判别式分析

2. 朴素贝叶斯Native Bayes

3. 混合高斯型Gaussians

4. K近邻KNN

5. 隐马尔科夫模型HMM

6. 贝叶斯网络

7. sigmoid belief networks

8. 马尔科夫随机场Markov random fields

9. 深度信念网络DBN

10. 隐含狄利克雷分布简称LDA(Latent Dirichlet allocation)

11. 多专家模型（the mixture of experts model）

 

判别式模型

1. 线性回归linear regression

2. 逻辑回归logic regression

3. 神经网络NN

4. 支持向量机SVM

5. 高斯过程Gaussian process

6. 条件随机场CRF

7. CART(Classification and regression tree)

8. Boosting