生成模型和判别模型

输入变量与输出变量均为连续变量的预测问题成为回归问题;

输出变量为有限个离散变量的预测问题称为分类问题;

输入变量与输出变量均为序列的预测问题称为标注问题。

1生成模型

    生成模型估计的是联合概率分布（joint probability distribution），p(y, x)=p(y|x)*p(x)，由数据学习联合概率密度分布P(X,Y)，然后求出条件概率分布P(Y|X)作为预测的模型，即生成模型：P(Y|X)= P(X,Y)/ P(X)。基本思想是首先建立样本的联合概率概率密度模型P(X,Y)，然后再得到后验概率P(Y|X)，再利用它进行分类。生成方法关心的是给定输入x产生输出y的生成关系。

   生成模型的特点：一般主要是对后验概率建模，从统计的角度表示数据的分布情况，能够反映同类数据本身的相似度。只关注自己的inclass本身，不关心到底 decision boundary在哪。
- 优点:
    实际上带的信息要比判别模型丰富，
    研究单类问题比判别模型灵活性强
    模型可以通过增量学习得到
    能用于数据不完整（missing data）情况
    modular construction of composed solutions to complex problems
    prior knowledge can be easily taken into account
    robust to partial occlusion and viewpoint changes
   can tolerate significant intra-class variation of object appearance
- 缺点：
    tend to produce a significant number of false positives. This is particularly true for object classes which share a high visual similarity such as horses and cows
    学习和计算过程比较复杂

2判别模型

   判别模型估计的是条件概率分布(conditional distribution)， p(y|x)，是给定观测变量x和目标变量y的条件模型。由数据直接学习决策函数y=f(X)或者条件概率分布P(y|x)作为预测的模型。判别方法关心的是对于给定的输入X，应该预测什么样的输出Y。

判别模型的特点：判别模型是寻找不同类别之间的最优分类面，反映的是异类数据之间的差异。

- 优点:
    分类边界更灵活，比使用纯概率方法或生产模型得到的更高级。
    能清晰的分辨出多类或某一类与其他类之间的差异特征
   在聚类、viewpoint changes, partial occlusion and scale variations中的效果较好
    适用于较多类别的识别
    判别模型的性能比生成模型要简单，比较容易学习
- 缺点：
    不能反映训练数据本身的特性。能力有限，可以告诉你的是1还是2，但没有办法把整个场景描述出来。
    Lack elegance of generative: Priors, 结构, 不确定性
    Alternative notions of penalty functions, regularization, 核函数
    黑盒操作: 变量间的关系不清楚，不可视

3两者之间的关系

由生成模型可以得到判别模型，但由判别模型得不到生成模型。当存在隐变量（当我们找不到引起某一现象的原因的时候，我们就把这个在起作用，但是，无法确定的因素，叫“隐变量”） 时，仍可以利用生成方法学习，此时判别方法不能用。

4典型应用

生成模型：朴素贝叶斯方法、隐马尔可夫模型

判别模型：k近邻法、感知机、决策树、逻辑斯谛回归模型、最大熵模型、支持向量机、提升方法、条件随机场