机器学习之 生成模型 vs 描述模型

---

生成模型(Generative Model)：

先学习得到联合概率分布P(x,y), 即特征x和标记y共同出现的概率。然后，再由此获得P(y|x),即在特征x出现的情况下,标记y出现的概率。

例如，在朴素贝叶斯算法中，先根据样本数据得到P(y),P(x|y)，得到了这两者也就意味着得到了联合概率分布，两者相乘即可得到，然后，可以根据贝叶斯公式推导出P(y|x)。

 

判别模型(Discriminative Model)：

直接建模P(y|x)来预测y。又可以称为条件模型，或条件概率模型，估计的是条件概率分布p(class|context)。模型输出直接对应于分类准确率。  

 

两种模型的比较：

Discrminative模型的基本思想是有限样本条件下建立判别函数，不考虑样本的产生模型（即手中的样本是由某个未知模型产生的），直接研究预测模型。代表性理论为统计学习理论。

 

生成模型基本思想是首先建立样本的概率密度模型，再利用模型进行推理预测。要求已知样本无穷或尽可能的大限制。这种方法一般建立在统计力学和Bayes理论的基础之上。

 

/

经典的生成模型：

朴素贝叶斯算法(https://blog.csdn.net/qq_35865125/article/details/87945510 )，隐马尔科夫模型, 高斯混合模型,  LDA, RestrictedBoltzmann Machine等.

 

经典的描述模型：

决策树，Logistic回归，神经网络。

 

Ref:

https://blog.csdn.net/u010358304/article/details/79748153

http://blog.sciencenet.cn/home.php?mod=space&uid=248173&do=blog&id=227964