3 判别模型和生成模型基本形式

3.1判别模型和生成模型的思想

比如男女的二分类问题来说，判别模型就是要找到区分男女的划分边界，而生成模型则是要找到可以描述男女这两类数据分布的模型，可以用下面这张图简单概括一下

判别模型学习出来的是这里的划分边界，而生成模型要学习的是男女的数据分布。生成模型本身并不具有分别功能，但由于生成模型详细描述了数据本身的特征，稍加处理便可以推出判别模型进行分类。但是判别模型因为本身只是划分规则，并不包含对数据的描述，所以无法倒推出生成模型。

同时，需要注意的是，生成模型因为要估计数据本身的分布，需要数据尽可能的充分，而判别模型在这方面的要求则相对宽松，能够学习得到相应划分规则即可。
概括一下：
判别模型： 有限样本->判别模型=分类(回归)模型->分类(回归)
生成模型：无限样本->生成模型->分类(回归)模型->分类(回归)

3.2判别模型与生成模型的概率描述

生成模型和判别模型都可以基于概率模型来描述

• 判别模型：学习条件概率分布P(y|x)，给定x，判断其类别
• 生成模型：学习联合概率分布P(x,y)，即特征x和标记y共同出现的概率，然后推导出条件概率分布P(y|x)，即给定x,判断其类别。
  （过程：生成模型首先估计数据的联合概率分布P(x,y)，其基本思想是先为数据指定一个分布（如高斯分布），再利用标注数据估计分布参数（如均值和方差，利用EM或者极大似然求解），从而得到P(x,y)。基于得到的联合概率分布，利用贝叶斯公司可以得到我们的判别模型P(y|x)=P(x,y)/P(x)）

3.3判别模型和生成模型的优缺点

• 判别模型
  优点：
  1.寻找分类边界更加直接，比使用生成模型更加针对分类任务本身
  2.能清晰的分辨出多类或某一类与其他类之间的差异特征
  3.判别模型的性能比生成模型要简单，比较容易学习
  缺点：
  不能反映训练数据本身的特性，可以区分数据是哪个类别，但不能描述数据集本身
  黑盒特性，数据间的关系不清楚，不可视
  判别模型：k近邻法、感知机、决策树、逻辑斯谛回归模型、最大熵模型、支持向量机、提升方法、条件随机场

• 生成模型

生成模型的主要特点是：从统计的角度表示数据的分布情况，能够反映同类数据本身的相似度。它只关注类别本身的特性，不关心类别之间的分类界限在哪
优点:
包含的信息要比判别模型丰富，
研究单类问题比判别模型灵活性强
模型可以通过增量学习得到

缺点：
基于较强的分布假设
学习和计算过程比较复杂

生成模型：高斯混合模型，朴素贝叶斯，隐马尔可夫模型，贝叶斯网络