生成模型和判别模型区别

预测目标

在讨论生成模型和判别模型之前，我们先回顾一下机器学习要解决的两类问题。
假设x是输入的特征(feature)，y是预测的结果(分类是label，回归是value)。
  1.分类：P(y|x) ，即根据输入特征求目标分类。
  2.回归：y=f(x)，即根据输入特征直接求值。
由于分类问题和回归可以相互转化，下文我们以分类为例。

判别模型

判别模型直接求解条件概率P(y|x)（最终目标驱动）。

生成模型

生成模型需要已知联合概率分布p(x,y)，再根据贝叶斯公式

$$P(y|x) = P(x,y)/P(x)$$ 可求得最终目标。因此它是根据样本的统计学规律， 间接得进行分类。

这样还有一个问题：使用样本的P(x)，数据量非常大的时候才准确。回想根据投硬币统计正面向上次数求P(正面向上)那个实验，要次数很大时才使得P接近1/2。

两者之间关系

$$生成模型\Longrightarrow判别模型$$

参考文献

神经网络与深度学习（吴岸城）p104-p107
https://www.zhihu.com/question/20446337