生成模型 VS 判别模型

版权声明：博主原创文章，转载请注明来源，谢谢合作！！
https://blog.csdn.net/hl791026701/article/details/84677977

  监督学习的任务就是学习一个模型，应用这一模型，对给定的输入预测相应的输出，这一模型一般形式为决策函数：
$$Y=f\left(X\right)$$
或者条件概率分布：
$$P\left(Y\mid X\right)$$
 监督学习方法又可以分为生成方法（Generative approach）和判别方法（Discriminative approach）。所学到的模型分别称为生成模型（Generative Model）和判别模型（Discriminative Model）。
  生成方法由数据学习联合概率分布$Y=f\left(X,Y\right)$，然后求出条件概率分布$P\left(Y\mid X\right)$作为预测模型，即生成模型：
$$P\left(X\mid Y\right)=\frac{P\left(X,Y\right)}{P\left(X\right)}$$
这样的方法称之为生成方法，是因为模型表示了给定了输入$X$产生$Y$的生成关系，典型的生成模型有：朴素贝叶斯和隐马尔可夫。
  判别方法由数据直接学习决策函数$f\left(X\right)$或者条件概率$P\left(Y\mid X\right)$作为预测的模型，即判别模型。判别方法关心的是对给定的输入$X$，应该预测什么样的输出$Y$。典型的判别模型包括：$k$近邻算法、感知机、决策树、逻辑回归、最大熵模型、SVM和条件随机场等。
  在监督学习中，生成方法和判别方法各有优缺点，适合于不同条件下的学习问题。
  生成方法特点：生成方法可以还原出联合概率分布$P\left(X,Y\right)$，而判别方法则不能；生成方法的学习收敛速度更快，即当样本容量在增加的时候，学到的模型可以更快地收敛于真实模型；当存在隐变量时，仍可以用生成方法学习，此时判别方法就不行。
 判别方法的特点：判别方法直接学习的是条件概率$Y=f\left(X,Y\right)$或者决策函数$f\left(X\right)$，直接面对预测，往往学习的准确率更高；由于直接学习$P\left(Y\mid X\right)$或$f\left(X\right)$，可以对数据进行各种程度上的抽象、定义特征使用特征，因此可以简化学习问题。

参考资料

1. 统计学习方法 李航著，清华大学出版社