生成模型(generative model)与判别模型(discriminate)的联系及区别

• 生成模型与判别模型的联系及区别
  
  • 监督学习——学习一个模型
    
    • 模型的一般形式
      
      • 决策函数 $Y=f(X)$
      • 条件概率分布：$P(Y|X)$
  • 生成方法
    
    • 由数据学习联合概率分布$P(Y,X)$作为预测的模型，即生成模型$P(Y|X) = \frac{P(Y,X)}{P(X)}$
    • 模型表示了给定输入$X$,产生输出$Y$的生成关系
    • examples
      
      • 朴素贝叶斯、隐马尔科夫模型
  • 判别方法
    
    • 由数据直接学习决策函数$f(X)$或者条件概率分布$P(Y|X)$作为预测模型
    • 比较关心：给定输入$X$,输出什么样的$Y$
    • examples
      
      • 感知机、决策树、logistic regression，最大熵，SVM，Adaboost,条件随机场
  • 联系与区别
    
    • 生成学习法
      
      • 还原出联合概率分布$P(Y,X)$
      • 学习收敛速度快
      • 样本容量增加时，模型快速收敛于真实的model
    • 判别方法
      
      • 直接学习的是$Y=f(X)$或$P(Y|X)$
      • 可以对数据进行各种程度上的抽象
      • 定义特征并使用特征可以简化学习问题