判别式模型和生成式模型

转载自：https://blog.csdn.net/qq_41853758/article/details/80864072
作者：Paulzhao6518

判别式模型(Discriminative Model)：直接对条件概率p(y|x)进行建模，常见判
别模型有：线性回归、决策树、支持向量机SVM、k近邻、神经网络等；

生成式模型(Generative Model)：对联合分布概率p(x,y)进行建模，常见生成式
模型有：隐马尔可夫模型HMM、朴素贝叶斯模型、高斯混合模型GMM、LDA
等；
生成式模型更普适；判别式模型更直接，目标性更强
生成式模型关注数据是如何产生的，寻找的是数据分布模型；判别式模型关注的
数据的差异性，寻找的是分类面
由生成式模型可以产生判别式模型，但是由判别式模式没法形成生成式模型

---

转载自：https://blog.csdn.net/wongleetion/article/details/79657238
作者:LeeTioN

机器学习中有两大任务——监督学习和非监督学习。

其中监督学习的任务学习一个模型，拟合好目标问题的模型后，再将其应用。而监督学习的学习方法可以分为生成方法(Generative Approach)和判别方法(Discriminative Approach)。所学到的模型便称之为生成模型(Generative Model)和判别模型(Discriminative Model)。

给定数据，生成方法是从数据中学习联合概率分布
生成模型表示了输入X和输出Y之间的生成关系，例如朴素贝叶斯，结果是连乘得到。

判别方法则从数据中直接学习条件概率分布或决策函数，判别模型关心的是给定的输入X，会给出什么样的预测结果，更关心结果这个预测值。

生成式模型是根据概率乘出结果，而判别式模型是给出输入，计算出结果。
常见的生成式模型有:
NaiveBayes（朴素贝叶斯）
Gaussian Mixture Model and othertypes of Mixture Model（高斯混合及其他类型混合模型）
Hidden Markov Model（隐马尔可夫）
AODE（平均单依赖估计）
Latent Dirichlet allocation（LDA主题模型）
Restricted Boltzmann Machine（限制波兹曼机）

常见的判别式模型有：
Linear Regression（线性回归）
Logistic Regression（逻辑回归）
Linear Discriminant Analysis（线性判别分析）
Support Vector Machines（支持向量机）
Boosting（集成学习）
Conditional Random Fields（条件随机场）
Neural Networks（神经网络）

总结一句话，生成模型是预测结果的条件概率分布，判别模型则直接预测出结果。