NLP | 生成模型和判别模型的区别

在读《统计学习方法》时看到一个概念：
“生成模型”和“判别模型”：

但是书上的解释太抽象没看懂，去搜了一下发现有两个解释：

解释1：

如图，左边是判别模型，右边是生成模型。

对于判别模型，举个例子：假设是二分类任务，判别模型对于输入X会得到输出Y，Y原来是一个score，score在大于threshold和小于threshold时分别取不同的值。此时Y得到正例（Y_1）和反例（Y_2）分类结果的概率满足：P(Y_1|X_1)+P(Y_2|X_1)=1

而对于生成模型，和判别模型不同的是，生成模型并不会得到一个score然后根据阈值划分结果，而是直接计算每种结果的概率，选择概率最大的作为最终结果。

解释2：

假设有四个samples:

生成模型得到的结果如下：

$\sum P(x,y)=1$
而判定模型的结果如下：

${\sum }_{y}P(y|x)=1$

即生成模型对联合概率分布建模，联合概率和为1；判别模型对边缘概率分布建模，条件概率和为1.
从两张图的结果看来，生成模型的结果是从总体来看的，而判别模型的结果是从局部的角度来看的（条件概率），很明显判别概率的信息要少于生成模型的信息。

最后补充书上关于这两个模型特点的描述：