6步学会朴素贝叶斯算法（包含python语言和R语言源码）

摘要

假设你遇到下面这种情况：
你正在研究分类问题，并且你已经生成了你的假设集，创建了特征值，讨论了变量的重要性。在一个小时内，利益相关者希望看到模型的第一个切割。

你会怎么做？你有数以千计个数据点，只有少数变量在你的训练集里面。在这种情况下，如果我是你，我会使用“朴素贝叶斯分类（Navie Bayes）”，相对于其它分类算法，它是非常快的。朴素贝叶斯分类依赖于贝叶斯概率定理来预测未知数据集的类别。
在本文中，我将介绍该算法的基础知识，以便在下次你遇到大型数据集的时候，你可以试用该算法来处理。另外，如果你是Python或R的新手，你应该温习一下这些语言，因为本文将会用这两种语言来实现朴素贝叶斯算法。
要理解贝叶斯推断，必须先理解贝叶斯定理。后者实际上就是计算”条件概率”的公式。

贝叶斯定理

所谓”条件概率”（Conditional probability），就是指在事件B发生的情况下，事件A发生的概率，用P(A|B)来表示。

根据文氏图，可以很清楚地看到在事件B发生的情况下，事件A发生的概率就是P(A∩B)除以P(B)。

因此，

同理可得，

所以，

即

这就是条件概率的计算公式。

全概率公式

由于后面要用到，所以除了条件概率以外，这里还要推导全概率公式。
假定样本空间S，是两个事件A与A’的和。

上图中，红色部分是事件A，绿色部分是事件A’，它们共同构成了样本空间S。
在这种情况下，事件B可以