生成模型和判别模型

假设你现在有一个分类问题,x是特征,y是类标记。

用生成模型学习一个联合概率分布P(x,y),
而用判别模型学习一个条件概率分布P(y | x)。

生成模型,就是生成(数据的分布)的模型;
判别模型,就是判别(数据的label)的模型;

生成模型的处理过程会告诉你关于数据的一些统计信息(p(x | y) 分布等),如朴素贝叶斯可计算出,p(癌症, 肥胖 ) = x%,模型生成了一个分布给你,即使你没用到该分布数据,而只用到 p(癌症, 肥胖 ) = x% 对应的最终的判别(label)

判别模型则是通过一系列处理得到结果,这个结果可能是概率最大的类,或是其他。如决策树很多属性都是有分支的,明显是一种判别(是这种或是另外一种);

在实际分类问题中:
判别模型可以直接用来判断特征的类别情况,
而生成模型需要加上贝叶斯法则,然后应用到分类中。

生成模型
优点:
  1. 实际上带的信息要比判别模型丰富
  2. 生成模型收敛速度比较快,即当样本数量较多时,生成模型能更快地收敛于真实模型。
  3. 能用于数据不完整的情况,能够应付存在隐变量的情况
缺点:
  1. 提供更多的信息 –> 因此需要更多的样本和更多计算
  2. 多数情况下分类效果不如判别模型
主要算法:

朴素贝叶斯算法、隐马尔可夫模型(EM算法)

判别模型
优点:
  1. 节省计算资源,需要的样本数量也少于生成模型。
  2. 准确率往往较生成模型高,适用于较多类别的识别。
  3. 允许对输入进行抽象(降维、构造等),能够简化学习问题。
缺点:
  1. 不能反映训练数据本身的特性
  2. 不能应付存在隐变量的情况
主要算法:

k近邻法、逻辑回归模型、决策树、支持向量机

阅读更多

没有更多推荐了,返回首页