生成模型与判别模型

对于输入数据集X，输出类别Y

生成模型：由数据学习联合概率密度分布P(x, y)，然后求出条件概率分布P(y|x)作为预测的模型。即生成关系：P(Y|X) = P(X, Y)/P(X)。代表有朴素贝叶斯、高斯混合模型、隐马尔科夫模型等。从统计的角度表示数据的分布情况，能够反映同类数据本身的相似度。但它不关心到底划分各类的那个分类边界在哪。处理过程会告诉你关于数据的一些统计信息（p(x|y) 分布 etc.），更接近于统计学；

判别模型：由数据直接学习决策函数y = f(x) 或者条件概率分布P(Y|X) 作为预测的模型（决策函数可以用条件概率表示)。基本思想就是在有限样本条件下建立判别函数，不考虑样本的产生模型，直接研究预测模型。代表包括K近邻、感知机、决策树、支持向量机、提升方法、条件随机场等。不能反映训练数据本身的特性，但它寻找不同类别之间的最优分类面，反映的是异类数据之间的差异。

简单的说，生成模型是从大量的数据中找规律，属于统计学习；
而判别模型只关心不同类型的数据的差别，利用差别来分类。

生成算法尝试去找到底这个数据是怎么生成的（产生的），然后再对一个信号进行分类。基于你的生成假设，那么那个类别最有可能产生这个信号，这个信号就属于那个类别。
判别模型不关心数据是怎么生成的，它只关心信号之间的差别，然后用差别来简单对给定的一个信号进行分类。

2、优缺点

生成模型：

1. 能反映数据之间的关系，还原出联合概率分布P(X,Y)
2. 学习收敛速度更快，可以做增量学习。当样本容量增加时，学到的模型能更快的收敛于真实模型
3. 存在隐变量时，只可以使用生成模型，例如EM算法

增量学习思想：每当新增数据时，并不需要重建所有的知识库，而是在原有知识库的基础上，仅对由于新增数据所引起的变化进行更新。

判别模型：

1. 直接面对预测，学习准确率更高
2. 由于直接学习P(Y|X)或f(X), 可以对数据进行各种抽象、定义特征并使用特征，因而简化学习问题。

总结：
判别模型求解思路：条件分布------>模型参数后验概率最大------->（似然函数·参数先验）最大------->最大似然
生成模型求解思路：联合分布------->求解类别先验概率和类别条件概率