机器学习：朴素贝叶斯算法

朴素贝叶斯法

       前面介绍过KNN算法和感知机算法都要求分类器对于给定新数据给出明确的分类结果，现在如要求不仅给出确定类别，还要给出猜测的概率估计值，之前的方法则行不通；而朴素贝叶斯方法就是基于概率论的分类方法，在分类器给出一个最优的类别猜测结果，同时给出这个猜测的概率估计值。

 什么是朴素贝叶斯法？ 

        朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法，对于给定的训练集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对于给定的输入x,利用贝叶斯定理求出后验概率最大的输出y.朴素贝叶斯法实现简单，学习与预测的效率都很高，但是当特征之间的相关性很大时，效果不是很大。

在具体了解算法的实现过程之前，首先要明白涉及到的概率论知识

条件概率：http://zh.wikipedia.org/wiki/%E6%9D%A1%E4%BB%B6%E6%A6%82%E7%8E%87

  表示在事件B发生的条件下，事件A发生的概率。

先验概率：http://zh.wikipedia.org/wiki/%E5%85%88%E9%AA%8C%E6%A6%82%E7%8E%87

后验概率：http://zh.wikipedia.org/wiki/%E5%90%8E%E9%AA%8C%E6%A6%82%E7%8E%87

全概率公式：

贝叶斯公式（逆概率公式）：

以上知识在概率论课本中有详细的介绍。

 

朴素贝叶斯分类实现过程

step1：这个阶段的任务是为朴素贝叶斯分类做必要的准