机器学习小问题 -- 生成式模型与判别式模型

本篇博文总结最近学习到的生成式模型与判别式模型的知识。

---

1. 简介

就像之前在总结分类和聚类时说的一样，机器学习基本在做的事情就是在分类、打标签，我们的模型也就像一个个分类机器（个人看法，欢迎指正）。而这么多的模型，可以分为两类：生成式模型与判别式模型。

对于一个分类器，当我们丢进去 x 以后，那么我们到底该如何决定它该分到哪一个标签呢，也就是它抛出的 y 会是多少呢？很自然地，我们会想到使条件概率 p(y|x) 最大的 y 是我们的理想值。说到这里，我们就可以接着简单介绍生成式模型和判别式模型了

判别式模型：按名字，并不严谨地，我们可以理解为它直接判别 y 到底应该为多少。它直接对后验概率 p(y|x) 建模，然后求使得 p(y|x) 最大的 y，从而得到 y 的估计值。

生成式模型：按名字，同样并不严谨地，我们可以理解为它是‘生成’一个分布。因为他是对联合分布 p(x,y) 进