监督学习下的判别式模型和生成式模型

(一) 、监督学习下的判别式和生成式模型

监督学习的任务就是学习一个模型,应用这一模型,对给定特征的的输入样本，预测样本相应的输出。这个模型的一般形式为决策函数:Y=f(X)或者条件概率分布:P(Y|X)

1. 决策函数Y=f(X)：输入一个特征为X的样本，模型输出一个Y，这个Y与一个阈值比较，根据比较结果判定X属于哪个类别。例如二分类（Y1和Y2）问题，如果Y大于阈值，特征为X的样本就属于类Y1，如果Ｙ小于阈值就属于类Y2。通过决策函数的输出直接就能得到特征为X的样本对应的类别了。

2. 条件概率分布P(Y|X)：输入一个特征为X的样本，模型通过比较它属于的所有可能类别的概率，然后输出概率最大的那个，作为特征为X的样本所属的类别。例如二分类问题，如果模型计算出P(Y1|X) > P(Y2|X)，那么就认为特征为X的样本是属于Y1类的。

监督学习方法又可以分为生成方法(generative approach)和判别方法(discriminative　approach)。所学到的模型分别称为生成模型(generative　model)和判别模型(discriminative model)。

1. 生成方法：先由数据学习联合概率分布P(X,Y)，然后求出条件概率分布P(Y|X)作为预测的
   模型，即生成模型