生成式分类器和判别式是根据两种不同的设计方法而得到的,即利用生成模型设计了生成式分类器,用判别模型设计了判别式分类器。
一、生成模型的方法
1.1 生成方法
- 由数据学习联合概率分布 P(D,H)
- 求出条件概率 P(H|D) 作为预测模型,即生成模型
- 根据后验概率 P(H|D) 进行分类
这里H可以认为是hypothesis,即预测,也是类别;D为data,即数据; P(H|D) 即有一个新的data的时候,应该预测为什么类别。
1.2 生成方法的特点
由于是学习了联合概率分布P(D,H),可以从统计的角度表示数据的分布情况,能够反映同类数据本身的相似度。(反映H1中D1和D2的相似度也就是计算 P(D1|H1)∗P(D2|H1) )但它不关心到底划分各类的那个分类边界在哪。
生成方法可以还原出联合概率分布P(Y|X),而判别方法不能。
生成方法的学习收敛速度更快,即当样本容量增加的时候,学到的模型可以更快的收敛于真实模型。
生成模型能够应付存在隐变量的情况,比如混合高斯模型就是含有隐变量的生成方法。
缺点: