生成模型 VS. 判别模型 Logistic 回归 VS. Softmax 回归

生成模型 VS. 判别模型

从概率分布的角度考虑，对于一堆样本数据，每个均有特征Xi对应分类标记yi。

生成模型：学习得到联合概率分布P(x,y)，即特征x和标记y共同出现的概率，然后求条件概率分布。能够学习到数据生成的机制。

判别模型：学习得到条件概率分布P(y|x)，即在特征x出现的情况下标记y出现的概率。

数据要求：生成模型需要的数据量比较大，能够较好地估计概率密度；而判别模型对数据样本量的要求没有那么多。

生成模型

在概率统计理论中, 生成模型是指能够随机生成观测数据的模型，尤其是在给定某些隐含参数的条件下。它给观测值和标注数据序列指定一个联合概率分布。在机器学习中，生成模型可以用来直接对数据建模（例如根据某个变量的概率密度函数进行数据采样），也可以用来建立变量间的条件概率分布。条件概率分布可以由生成模型根据贝叶斯定理形成。

生成模型的定义与判别模型相对应：生成模型是所有变量的全概率模型，而判别模型是在给定观测变量值前提下目标变量条件概率模型。因此生成模型能够用于模拟（即生成）模型中任意变量的分布情况，而判别模型只能根据观测变量得到目标变量的采样。判别模型不对观测变量的分布建模，因此它不能够表达观测变量与目标变量之间更复杂的关系。因此，生成模型更适用于无监督的任务，如分类和聚类。

典型的生成模型包括:

• 高斯混合模型和其他混合模型
• 隐马尔可夫模型
• 随机上下文无关文法
• 朴素贝叶斯分类器
• AODE分类器
• 潜在狄利克雷分配模型
• 受限玻尔兹曼机

如果观测数据是由生成模型中采样的，那么最大化数据似然概率是一个常见的方法。但是，大部分统计模型只是近似于真实分布，如果任务的目标是在已知一部分变量的值的条件下，对另一部分变量的推断，那么可以认为这种模型近似造成了一些对于当前任务来说不必要的假设。在这种情况下，使用判别模型对条件概率函数建模可能更准确，尽管具体的应用细节会最终决定哪种方法更为适用。

判别模型

在机器学习领域判别模型是一种对未知数据 $ {\displaystyle y} $与已知数据 $x$ 之间关系进行建模的方法。判别模型是一种基于概率理论的方法。已知输入变量$ {\displaystyle x}$ ，判别模型通过构建条件概率分布 $P(y|x)$预测 $y$。

与生成模型不同，判别模型不考虑 $x$与 $y$ 间的联合分布。对于诸如分类和回归问题，由于不考虑联合概率分布，采用判别模型可以取得更好的效果。而