关于判别模型和生成模型

介绍

简单的说，假设o是观察值，q是模型。如果对P(o|q)建模，就是Generative模型。其基本思想是首先建立样本的概率密度模型，再利用模型进行推理预测。要求已知样本无穷或尽可能的大限制。这种方法一般建立在统计力学和bayes理论的基础之上。如果对条件概率(后验概率) P(q|o)建模，就是Discrminative模型。基本思想是有限样本条件下建立判别函数，不考虑样本的产生模型，直接研究预测模型。代表性理论为统计学习理论。这两种方法目前交叉较多。

判别模型Discriminative Mode

Discriminatvie Mode又可以称为条件模型，或条件概率模型。估计的是条件概率分布(conditional distribution)， p(class|context)。利用正负例和分类标签，focus在判别模型的边缘分布。目标函数直接对应于分类准确率。

条件模型主要特点：寻找不同类别之间的最优分类面，反映的是异类数据之间的差异。

它的优点: 1、分类边界更灵活，比使用纯概率方法或生产模型得到的更高级；2、能清晰的分辨出多类或某一类与其他类之间的差异特征；3、在聚类、viewpoint changes, partial occlusion and scale variations中的效果较好；4、适用于较多类别的识别；5、判别模型的性能比生成模型要简单，比较容易学习。

其缺点：1、不能反映训练数据本身的特性。能力有限，可以告诉你的是1还是2，但没有办法把整个场景描述出来。2、Lack elegance of generative: Priors, 结构, 不确定性；3、 Alternative notions of