机器学习（三）------朴素贝叶斯法

一.概念：

              朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。首先学习贝叶斯理论。

二.贝叶斯理论 ：

1 贝叶斯决策理论

    假设现在我们有一个数据集，它由两类数据组成，数据分布如下图所示：

     我们现在用p1(x,y)表示数据点(x,y)属于类别1(图中红色圆点表示的类别)的概率，用p2(x,y)表示数据点(x,y)属于类别2(图中蓝色三角形表示的类别)的概率，那么对于一个新数据点(x,y)，可以用下面的规则来判断它的类别：

• 如果p1(x,y) > p2(x,y)，那么类别为1
• 如果p1(x,y) < p2(x,y)，那么类别为2

 也就是说，我们会选择高概率对应的类别。这就是贝叶斯决策理论的核心思想，即选择具有最高概率的决策。已经了解了贝叶斯决策理论的核心思想，那么接下来，就是学习如何计算p1和p2概率。

 2 条件概率

    在学习计算p1和p2概率之前，我们需要了解什么是条件概率(Condittional probability)，就是指在事件B发生的情况下，事件A发生的概率，用P(A|B)来表示。

 

根据文氏图，可以很清楚地看到在事件B发生的情况下，事件A发生的概率就是P(A∩B)除以P(B)。 

                                                                  

  因此，

                                                  

  同理可得，

                                                  

  所以，