【NLP】机器学习中的判别模型和生成模型

两个模型是啥

我们从几句话进入这两个概念：
1、机器学习分为有监督的机器学习和无监督的机器学习；
2、有监督的机器学习就是已知训练集数据的类别情况来训练分类器，无监督的机器学习就是不知道训练集的类别情况来训练分类器；
3、所以说，有监督的机器学习可以抽象为一个分类task，而无监督的基本完成的是聚类；
4、有监督的机器学习中，我们可以概述为通过很多有标记的数据，训练出一个模型，然后利用这个，对输入的X进行预测输出的Y。这个模型一般有两种：

决策函数：Y=f(X)
条件概率分布：P(Y|X)

5、根据通过学习数据来获取这两种模型的方法，我们可以分为判别方法和生成方法；

6、概念正式介绍

判别方法：由数据直接学习决策函数Y=f(X)或条件概率分布P(Y|X)作为预测模型，即判别模型。判别方法关心的是对于给定的输入X，应该预测什么样的输出Y。

数据直接学习决策函数Y=f(X)或条件概率分布P(Y|X)得到的预测模型，就是***判别模型***；

生成方法：由数据学习联合概率分布P(X,Y), 然后由P(Y|X)=P(X,Y)/P(X)求出概率分布P(Y|X)作为预测的模型。该方法表示了给定输入X与产生输出Y的生成关系

P(Y|X)作为的预测的模型就是***生成模型***；

两个模型的范例

生成模型：朴素贝叶斯、隐马尔可夫（em算法&