近来看到贝叶斯分类器,其中有一个知识点提及产生式模型和判别式模型,查阅了一番资料终于理解透彻了,特此记录。
产生式模型和判别式模型区分
二者是分类器中常遇到的概念,产生式模型估计它们的联合概率分布P(x,y),判别式模型估计条件概率分布P(y|x)。
判别式模型常见的主要有:
Logistic Regression
SVM
Traditional Neural Networks
Nearest Neighbor
CRF
Linear Discriminant Analysis
Boosting
Linear Regression
产生式模型常见的主要有:
Gaussians
Naive Bayes
Mixtures of Multinomials
Mixtures of Gaussians
Mixtures of Experts
HMMs
Sigmoidal Belief Networks, Bayesian Networks
Markov Random Fields
Latent Dirichlet Allocation
以上就是从理念上对二者进行划分,但对于不少读者而言应该还是像我一样摸不着头脑,因此我们用一个通俗的例子来进一步讲解二者。
二者的区别主要就是由于一个是联合概率分布P(x,y),另一个估计条件概率分布P(y|x),而产生式模型能够根据贝叶斯公式得到