朴素贝叶斯分类算法（Naive Bayesian classification）

朴素贝叶斯分类算法（Naive Bayesian classification）

PS：本文在讲解的时候会用通俗的例子来讲解

本文我们将学习到：

（1）什么是朴素贝叶斯？

（2）先验概率和条件概率是如何证明的？

（3）文本分类的多项式模型和伯努利模型（附加例子说明）

（4）垃圾邮件的分类及代码的演示（暂缺以后会补上）

（1）什么是朴素贝叶斯（Naive Bayes，以后简称NB）？

首先先要区分一下： 判别式模型（discriminative model）和产生式模型（generative model）

判别式模型（discriminative model） ：

    简单的说就是分类的最终结果是以某个函数或者是假设函数的取值范围来表示它属于那一类的，例如  H（x）> 0 就是第一类 H（x）< 0。该模型主要对p(y|x)建模，通过x来预测y。在建模的过程中不需要关注联合概率分布。只关心如何优化p(y|x)使得数据可分。通常，判别式模型在分类任务中的表现要好于生成式模型。但判别模型建模过程中通常为有监督的，而且难以被扩展成无监督的。

   

产生式模型（generative model）：

   该模型对观察序列的联合概率分布p(x,y)建模，在获取联合概率分布之后，可以通过贝叶斯公式得到条件概率分布。生成式模型所带的信息要比判别式   模型更丰富。除此之外，生成式模型较为容易的实现增量学习。

  
由上可知，判别模型与生成模型的最重要的不同是，训练时的目标不同，判别模型主要优化条件概率分布，使得x,y更加对应，在分类中就是更可分。而生成模型主要是优化训练数据的联合分布概率。而同时，生成模型可以通过贝叶斯得到判别模型，但判别模型无法得到生成模型。

以下是两者比较的结果表：

	判别式模型（discriminative model）	产生式模型（generative model）
特点	寻找不同类别之间的最优分类面，反映的是异类数据之间的差异	对后验概率建模，从统计的角度表示数据的分布情况，能够反映同类数据本身的相似度
区别(假定输入x, 类别标签y)	估计的是条件概率分布(conditional distribution) : P(y|x)	估计的是联合概率分布（joint probability distribution: P(x, y),