生成模型和判别模型

  监督学习的任务是学习一个模型，应用这一模型，对于给定的输入预测相应的输出。这个模型的一般形式为决策函数：$$Y=f(x)$$

或者为条件概率分布：$$P(Y|X)$$

  监督学习方法又可以分成生成方法和判别方法；学习到的相应模型为生成模型和判别模型。
  生成方法由数据学习联合概率分布$P(X,Y)$,然后求出条件概率分布$P(Y|X)$作为预测模型，即生成模型：$$P(Y|X)=\frac{P(X,Y)}{P(X)}$$

之所以称为生成方法，是因为模型表示了给定输入$X$产生输出$Y$的生成关系。朴素贝叶斯法和隐马尔可夫是典型的生成模型。
  判别方法由数据直接学习决策函数$f(X)$或者条件概率分布$P(Y|X)$作为预测的模型，即判别模型。判别方法关心的是对给定的输入$X$，应该预测什么样的输出$Y$。典型判别模型有：$k$近邻、感知机、决策树、逻辑斯谛回归模型、最大熵模型、支持向量机、提升方法和条件随机场。