判别模型，生成模型

父亲有两个孩子，孩子A和孩子B。孩子A具有特殊的能力，他可以深入学习所有东西。小孩子B也具有特殊的能力他只能学习所见事物之间的差异。

晴天，父亲将两个孩子（孩子A和孩子B）带到动物园。这个动物园很小，只有狮子和大象两种动物。他们从动物园出来后，父亲给他们看了一只动物，问他们“这只动物是狮子还是大象？”

孩子A，孩子突然根据他在动物园内看到的东西，在纸上画了狮子和大象的图像。他将这两个图像与之前站立的动物进行了比较，并根据与图像和动物最接近的匹配进行了回答，他回答：“动物是狮子”。

根据所学的不同属性，孩子B仅知道差异，他回答：“动物是狮子”。

在这里，我们可以看到他们俩都在寻找动物，但是学习的方式和寻找答案的方式完全不同。在机器学习中，我们通常将Kid A称为生成模型，将Kid B称为判别模型。

通常，判别模型‌为类之间的决策边界建模。生成模型‌显式地模拟每个类的实际分布。最后，他们俩都在预测条件概率P（动物|特征）。但是，两种模型都学习不同的概率。

生成模型-学习联合概率分布p（x，y）。它借助贝叶斯定理预测条件概率。判别模型‌学习条件概率分布p（y | x）。这两种模型通常用于有监督的学习问题中。

在数学中
‌训练分类器涉及估算f：X-> Y或P（Y | X）

生成分类器

假定P（Y），P（X | Y）的一些函数形式

直接从训练数据估计P（X | Y），P（Y）的参数

使用贝叶斯规则计算P（Y | X）
区分性分类器

假设P（Y | X）的一些函数形式

直接从训练数据估计P（Y | X）的参数

例子：
生成分类器
‌朴素贝叶斯
贝叶斯网络
马尔可夫随机场
隐马尔可夫模型（HMM）

判别分类器

‌逻辑回归
标量向量机
传统神经网络
最近的邻居