朴素贝叶斯学习总结

   关于贝叶斯和朴素贝叶斯的区别产生了疑问，所以在网上搜索了几篇博客，阅读理解之后这里做下总结。

1.要用到的基本数学知识：

   (1) 贝叶斯公式：

        

     实际上，这个公式是由联合概率公式推导而出：

   

   (2)全概率公式：
    

   (3)条件独立：

    可解释为：当A发生时，A1发生与否与A2发生与否是无关的。

2.朴素贝叶斯模型介绍：

      贝叶斯公式+特征条件独立假设=朴素贝叶斯。上面的基础知识已经介绍完了，那么条件独立假设到底应用在什么地方了呢？我们需要把贝叶斯公式进一步推导拓展：

   

      由于我们需要比较的是P(yi|x),分母取值是相等的，只需比较分子的大小，所以分母也可以不用展开推导。

3.朴素贝叶斯优缺点：

     朴素贝叶斯主要优点：

      1) 朴素贝叶斯模型发源于古典数学理论，有稳定的分类效率。

      2)对小规模的数据表现很好，能处理多分类任务，适合增量式训练，尤其是数据量超出内存时，我们可以一批一批地增量训练。

      3)对缺失数据不太敏感，算法也比较简单，常用于文本分类。

      朴素贝叶斯主要缺点：

      1)朴素贝叶斯模型假设属性之间相互独立，这个假设在实际应用中往往是不成立的，在属性个数比较多或者属性之间相关性较大时，分类效果不好。而属性相关性较小时，朴素贝叶斯性能最为良好。

      2)需要知道先验概率，且先验概率很多时候取决于假设，假设的模型可以有很多种，因此在某些时候会由于假设的先验模型的原因导致预测效果不佳。

      3)由于我们是通过先验和数据来决定后验的概率从而决定分类，所以分类决策存在一定的错误率。

      4)对输入数据的表达形式很敏感。