机器学习与深度学习系列连载： 第一部分 机器学习（七）朴素贝叶斯（Naive Bayes）

朴素贝叶斯

当我们知道发生事件A的概率P(A)和发生事件B的概率P(B), 还有在发生B的情况下A发生的概率P(A|B)，我们可以得到，还有在发生A的情况下B发生的概率P(B|A)。这就是朴素贝叶斯公式。

我们先来看贝叶斯公式：

这个和咱们上一讲生成概率模型的公式是不是很相似，朴素贝叶斯其实就是概率生成模型的一个特例，概率生成模型是假设x 是服从某种特定的概率分布的。x中的各个维度有有相互关系的。 但是朴素贝叶斯为什么朴素，就是假设x是独立分布的。

我们看一个例子：邮件分类
当邮件中出现单词‘buy’，‘price’很可能是广告邮件，我们可能把他分类为垃圾邮件。那么我们得到：

我们计算垃圾邮件下“buy”出现的概率和非垃圾邮件下“buy”出现的概率，概率的计算方式：

所以，我们从新的邮件中计算x中，计算邮件是垃圾邮件的概率

当遇到从来没有遇到的词呢？ 如何计算以前出现过的概率。这里还有一个技巧：拉普拉斯平滑变换（Laplace smoothing）：
还是邮件分类的例子，如果我们想给NIP大会投稿，邮件中第一次出现NIP的单词（是第35000个词），根据上面的公式：

这个结果肯定不是我们想要的。
我们把概率的分子加+1，分母加上要分类的数总数k，如果k=2 就是2分类

所以我们的概率计算为：

然后使用贝叶斯公式计算就可以得出结果。

本专栏图片、公式很多来自台湾大学李弘毅老师、斯坦福大学cs229，斯坦福大学cs231n 、斯坦福大学cs224n课程。在这里，感谢这些经典课程，向他们致敬！