Generative vs Discriminative Models

机器学习中有很多算法，或者说是很多模型，比较流行的包括：决策树、朴素贝叶斯、贝叶斯网络、逻辑回归、支持向量机、人工神经网络、随机森林、隐马尔科夫模型、kNN、k-Means、AdaBoost、EM ... ...

如果要把它们归个类，比较常见的可以分成 “supervised 和 unsupervised” 或者 “贝叶斯派 和 频率派”等等。把为数众多的算法分成几类，绝对不仅仅是为了给算法们贴上标签，或者仅仅是为了分类而分类。事实上，当我们把某个算法看做这一类或者那一类的同时，更重要的是通过这种划分体现出算法本质上的某种特殊属性。

除了上面提到的那几种划分以外，另外一种常常被提到的分类法就是本文将要讨论的 “Generative Models（生成模型）” 和 “Discriminative Models（判别模型）” 。这种分类方法所使用的两个标签相当不容易理解，至少从字面意思上并不能很明显地体现出它们的内在逻辑。

不妨以本博客介绍过的两个经典的机器学习模型朴素贝叶斯（naive Bayes）和逻辑回归（logistic regression&#x