生成式分类器 VS 判别式分类器

生成式分类器和判别式是根据两种不同的设计方法而得到的，即利用生成模型设计了生成式分类器，用判别模型设计了判别式分类器。

一、生成模型的方法

1.1 生成方法

• 由数据学习联合概率分布$P(D,H)$
• 求出条件概率$P(H|D)$作为预测模型，即生成模型
• 根据后验概率$P(H|D)$进行分类

这里H可以认为是hypothesis，即预测，也是类别；D为data，即数据；$P(H|D)$即有一个新的data的时候，应该预测为什么类别。

1.2 生成方法的特点

• 由于是学习了联合概率分布P(D,H)，可以从统计的角度表示数据的分布情况，能够反映同类数据本身的相似度。（反映H1中D1和D2的相似度也就是计算$P(D1|H1)*P(D2|H1)$）但它不关心到底划分各类的那个分类边界在哪。

• 生成方法可以还原出联合概率分布P(Y|X)，而判别方法不能。

• 生成方法的学习收敛速度更快，即当样本容量增加的时候，学到的模型可以更快的收敛于真实模型。

• 生成模型能够应付存在隐变量的情况，比如混合高斯模型就是含有隐变量的生成方法。

缺点：