生成模型和判别模型

• 生成模型求的是联合概率，判别模型求的是条件概率。 生成模型可以生成新的样本，判别模型不可以。
• 对于分类任务来说，生成模型记住的是每个类的特点，而判别模型关注的是类别之间的差别。
• 从数学的角度看，p(x,y)=p(x|y)p(y)，生成模型相对于判别模型多考虑了p(x)，相当于多考虑了先验概率。
• 在分类问题中，在样本较小的情况下，容易产生过拟合，而考虑先验可以减少过拟合，所以生成模型的效果较好；当样本增大时，判别模型会渐渐优于生成模型，因为判别模型本身的直接目标就是判别类与类之间的差别。
• 比如朴素贝叶斯模型是生成模型，逻辑回归是判别模型。