摘要
假设你遇到下面这种情况:
你正在研究分类问题,并且你已经生成了你的假设集,创建了特征值,讨论了变量的重要性。在一个小时内,利益相关者希望看到模型的第一个切割。
你会怎么做?你有数以千计个数据点,只有少数变量在你的训练集里面。在这种情况下,如果我是你,我会使用“朴素贝叶斯分类(Navie Bayes)”,相对于其它分类算法,它是非常快的。朴素贝叶斯分类依赖于贝叶斯概率定理来预测未知数据集的类别。
在本文中,我将介绍该算法的基础知识,以便在下次你遇到大型数据集的时候,你可以试用该算法来处理。另外,如果你是Python或R的新手,你应该温习一下这些语言,因为本文将会用这两种语言来实现朴素贝叶斯算法。
要理解贝叶斯推断,必须先理解贝叶斯定理。后者实际上就是计算”条件概率”的公式。
贝叶斯定理
所谓”条件概率”(Conditional probability),就是指在事件B发生的情况下,事件A发生的概率,用P(A|B)来表示。
根据文氏图,可以很清楚地看到在事件B发生的情况下,事件A发生的概率就是P(A∩B)除以P(B)。
因此,
同理可得,
所以,
即
这就是条件概率的计算公式。
全概率公式
由于后面要用到,所以除了条件概率以外,这里还要推导全概率公式。
假定样本空间S,是两个事件A与A’的和。
上图中,红色部分是事件A,绿色部分是事件A’,它们共同构成了样本空间S。
在这种情况下,事件B可以