Naive Bayes朴素贝叶斯

让我们回到女运动员的例子上。假设我问你Brittney Griner从事什么运动（体操、马拉松、篮球）并且我告诉你她有6尺8、207磅。我想你会说篮球，如果我问你对你的选择有多大把握，我想你会对答案非常有信心。

现在我问你Heather Zurich从事什么运动，她6尺1、176磅，我不确定答案是什么。你也许会说篮球，但没有预测Brittney Griner那样有信心。她也许是高大的马拉松运动员。

最后我问你Yumiko Hara从事什么运动，她5尺4、95磅。也许你会选择体操，但也没有多大把握，因为有些马拉松运动员有相似的身高体重。

用最近邻算法将会非常困难去度量分类器的好坏。而用基于概率的贝叶斯方法作为分类方法不但可以进行分类，而且可以进行概率分类——这个运动员有80%的可能是篮球运动员，这个病人有40%的概率在未来五年患病，未来24小时在Las Cruces下雨的概率是10%。

最近邻方法称为lazy learners（懒学生）。之所以这么叫是因为当我们给它们一堆测试集合，它们仅仅是存储或记忆，它遍历了整个测试集。如果有100000首歌曲在测试集里，它每次将一个实例分类将遍历这100000首歌曲。

贝叶斯方法称为eager learners（饿学生）。当给予了测试集，它立刻分析数据建立模型，在对实例分类的时候就使用这个模型。饿学生分类比懒学生快。

进行概率分类的能力和饿学生的特性是贝叶斯方法的两个优点。

条件概率：

贝叶斯理论：

贝叶斯理论描述了P(A), P(A|B), P(B), and P(B|A)之间的关系：

这个理论是所有贝叶斯方法的基石。通常在数据挖掘里我们使用这个理论在alternative hypotheses（备择假设）中决策。举个例子，这个人是体操、马拉松还是篮球运动员。为了在备择中进行决策，我们计算出每个假设的值，取出最大概率值的假设。

用python来做朴素贝叶斯分类：