朴素贝叶斯分类

朴素贝叶斯Naive Bayes

其原理是根据最大后验概率来对数据进行分类

也就是把数据分类到使得后验概率最大的那一类

有点像极大似然估计

公式

贝叶斯公式：
$P(B|A)=\dfrac {P(A|B)P(B)}{P(A)}$

具体到贝叶斯分类的应用就是：

$P(类别|特征)=\dfrac{P(特征|类别)P(类别)}{P(特征)}$

最后我们求出使得上式最大的那个类别，就是贝叶斯分类结果

例子1

如上图，天气、温度、湿度、风力决定了是否打球

有14个样本

现在的天气是：
outlook=sunny
temperature=mild
humidity=normal
wind=weak
那么请用贝叶斯方法来决定是否去打球

$P(打球|sunny,mild,normal,weak)=\dfrac{P(sunny,mild,normal,weak|打球)P(打球)}{P(sunny,mild,normal,weak)}\ \ \ \ \ \ \ \ \ \ (1)$

在这里我们假设天气、湿度、温度、风向在打球或者不打球的条件下互相条件独立、互不影响，这里正是朴素贝叶斯的朴素之处

要注意：这里是条件独立

则：$P(sunny,mild,normal,weak|打球)=P(sunny|打球)P(mild|打球)P(normal|打球)P(weak|打球)=\dfrac{2}{9}\dfrac{4}{9}\dfrac{6}{9}\dfrac{6}{9}=\dfrac{32}{279}$

$P(打球)=\dfrac{9}{14}$

同理有：
$P(不打球|sunny,mild,normal,weak)=\dfrac{P(sunny,mild,normal,weak|不打球)P(不打球)}{P(sunny,mild,normal,weak)}\ \ \ \ \ \ \ \ \ \ (2)$

其中，

$P(sunny,mild,normal,weak|不打球)=P(sunny|不打球)P(mild|不打球)P(normal|不打球)P(weak|不打球)=\dfrac{3}{5}\dfrac{2}{5}\dfrac{1}{5}\dfrac{2}{5}=\dfrac{12}{625}$

$P(不打球)=\dfrac{5}{14}$

观察(1)(2)可知，要比较两者大小，只需比较两者分子大小

由前面的计算可知：
(1)式的分子等于：$\dfrac{32}{279}\times\dfrac{9}{14}=0.07373$

(2)式的分子等于：$\dfrac{12}{625}\times\dfrac{5}{14}=0.00685$

明显(1)式大于(2)式

因此朴素贝叶斯估计结果为去打球