生成式分类器 和 判别式分类器

生成式分类器 和 判别式分类器 是两种不同的分类模型，在处理分类任务时有不同的建模思路。下面我们详细解释它们的区别：

生成式分类器（Generative Classifiers）

生成式分类器，比如 朴素贝叶斯，尝试建模数据的生成过程，即给定类别标签 $y$，特征向量 $x$ 是如何生成的。生成式分类器的目标是学习联合概率分布 $p(x,y)$，即：

$$p(x,y)=p(x|y)p(y)$$

其中：

• $p(x|y)$ 是类 $y$ 的条件下，特征向量 $x$ 的概率分布。即该类是如何“生成”特征 $x$ 的。
• $p(y)$ 是类 $y$ 的先验概率。

通过贝叶斯公式，生成式模型可以进一步计算后验概率 $p(y|x)$，即给定特征 $x$，类别 $y$ 的概率：

$$p(y|x)\propto p(x|y)p(y)$$

总结： 生成式分类器试图全面建模特征向量 $x$ 的生成过程，然后根据生成过程进行分类。

判别式分类器（Discriminative Classifiers）

与生成式模型不同，判别式分类器直接建模后验概率 $p(y|x)$，而不是考虑特征是如何生成的。例如 逻辑回归 或 支持向量机 (SVM) 就是典型的判别式模型。判别式分类器只关注类别标签 $y$ 和特征向量 $x$ 之间的关系，不会尝试建模特征 $x$ 的生成过程。

在判别式分类器中，我们直接用给定的特征 $x$ 来预测类别标签 $y$，即直接估计后验概率 $p(y|x)$。

总结： 判别式分类器不建模特征生成过程，专注于直接找到输入特征 $x$ 和输出类别 $y$ 之间的边界或关系，模型更直接地处理分类任务。

具体的差异

1. 生成式模型：

   • 目标：学习联合概率 $p(x,y)$。
   • 步骤：首先建模 $p(x|y)$ 和 $p(y)$，然后通过贝叶斯公式得到 $p(y|x)$。
   • 优势：当需要生成数据时有更好的表现，并且对缺失数据或数据的结构特性（如时间序列）处理较好。

2. 判别式模型：

   • 目标：直接学习 $p(y|x)$，即通过特征预测类别标签。
   • 步骤：不考虑特征的生成，直接学习从 $x$ 到 $y$ 的映射关系。
   • 优势：模型更简单，不需要考虑特征生成过程，通常在分类任务上有更好的性能，尤其是在数据维度较高的情况下。

举个例子

• 生成式分类器：朴素贝叶斯：我们首先计算每个类别的先验概率 $p(y)$，然后计算每个类别下特征的条件概率 $p(x|y)$，最后使用贝叶斯定理计算后验概率 $p(y|x)$。

• 判别式分类器：逻辑回归：我们直接通过优化损失函数（如对数损失）来找到能够最大化后验概率 $p(y|x)$ 的参数，而不去关心如何生成特征 $x$。

结论

• 生成式分类器 模拟生成特征的过程，并通过贝叶斯公式进行分类。
• 判别式分类器 直接建模特征和类别之间的关系，通常更简单有效。