生成模型与判别模型

定义

• 生成模型：拟合的是自变量$x$和因变量$y$的联合概率分布p(x,y)，然后再根据p(y|x)=p(x,y)/p(x)
• 判别模型：拟合的是自变量$x$和因变量$y$的条件概率分布p(y|x)

两者区别

区别在于学习的侧重点。

• 生成模型
  • 学习侧重于什么样的x和什么样的y更可能"共现"
  • 可以掌握更多的信息，但同样需要更多的数据才能达到好的拟合，既要拟合p(x,y)、还要拟合p(x)，步骤被细分了
  • “生成”：由于拟合的是联合概率分布p(x,y)，可以用于生成数据
• 判别模型
  • 学习侧重于不同类别之间的差异，将问题简化，就是基于什么样的x更倾向于得到什么样的y，一步到位
  • 比生成模型少的数据就可达到不错的拟合效果

举例说明

比如大象和猫两堆照片需要进行分类

• 如果学到的是到底什么是大象、什么是猫，则是生成模型
• 如果学到的是大象鼻子比猫鼻子长多了，则是判别模型

两者代表算法

• 生成模型
  • 朴素贝叶斯
  • 隐马尔可夫
• 判别模型
  • 决策树
  • 逻辑回归
  • 支持向量机
  • KNN

参考资料

★数据挖掘面试题之：生成模型 VS 判别模型