(一)朴素贝叶斯与贝叶斯分类器基础知识

(一)朴素贝叶斯与贝叶斯分类器基础知识

基础知识点:

贝叶斯分类算法是统计学的一种概率分类方法, 朴素贝叶斯分类是贝叶斯分类中最简单的一种.
其分类原理就是利用贝叶斯公式根据某特征的先验概率计算出其后验概率, 然后选择具有最大后验概率的类作为该特征所属的类.
之所以称之为“朴素”, 是因为贝叶斯分类只做最原始、最简单的假设: 所有的特征之间是统计独立的, 即:

假设某样本$P(X)$有$a_1,\dots ,a_n$个属性, 那么有:$P(X)=P(a_1,\dots ,a_n)=P(a_1)P(a_2)\dots P(a_n)$

条件概率:

$P(A|B)=\frac{P(A\cap B)}{P(B)}$
有: $P(A\cap B)=P(A|B)P(B),P(A\cap B)=P(B|A)P(A)$
进一步: $P(A|B)P(B)=P(B|A)P(A)$

如果$A_i$独立同分布, $P(B|A)=P(B|A_1)\dots P(B|A_n)$

贝叶斯公式:

因此贝叶斯公式为:
$P(A|B)=P(B|A)\frac{P(A)}{P(B)}$

全概率公式:

如果事件$A=A_1,\dots ,A_n$构成一个完备事件组且$P(A_i)>0$, 那么对于任意一个事件$B$则有:
$$P(B)=P(B\cdot 1)=P(B{A}_1)+\cdots +P(B{A}_n)=P(B|A_1)P(A_1)+\cdots +P(B|A_n)P(A_n)$$

因此有:
$$P(B)=\sum _{i=1}^{n}P(A_i)P(B|A_i)$$

贝叶斯推断:

根据条件概率和全概率公式, 贝叶斯公式为:
$$P(A|B)=P(A)\frac{P(B|A)}{P(B)}$$
$$P(A_i|B)=P(A_i)\frac{P(B|A_i)}{P(B)}=P(A_i)\frac{P(B|A_i)}{{\sum }_{i=1}^{n}P(A_i)P(B|A_i)}$$
$P(A)$是类先验概率(Prior probability), 即在$B$事件发生之前, 我们对$A$事件概率的一个判断.
$P(A|B)$是类后验概率(Posterior probability)/类条件概率, 即在$B$事件发生之后, 我们对A事件概率的重新评估. 贝叶斯分类器算的就是$P(A|B)$.
$\frac{P(B|A)}{P(B)}$是可能性函数(Likely hood), 这是一个调整因子, 使得预估概率更接近真实概率.

所以: 后验概率 = 先验概率 * 调整因子.

如果$\frac{P(B|A)}{P(B)}>1$, 意味着 “先验概率” 被增强, 事件$A$的发生可能性变大;
如果$\frac{P(B|A)}{P(B)}=1$, 意味着$B$事件无助于判断事件$A$发生的可能性;
如果$\frac{P(B|A)}{P(B)}<1$, 意味着 “先验概率” 被削弱, 事件$A$的发生可能性变小.

---

朴素贝叶斯分类器的例子:

图1 特性-分类的统计数据

假设某男子(帅, 性格不好, 不上进)向该女生求婚, 该女生嫁还是不嫁？
$P(A|B)=P(A)\frac{P(B|A)}{P(B)}$
转换成任务表达式: $P(类别|特征)=P(类别)\frac{P(特征|类别)}{P(特征)}$ ; $A$和$\bar{A}$为类别; $B_i$为不同的特征
在朴素贝叶斯中, 假设类别B中的属性是相互独立的, 即$P(B|A)=P(B_1|A)\dots P(B_m|A),$ 所以:
$P(A|B)=P(A))\frac{P(B_1|A)P(B_2|A)P(B_3|A)}{P(A)P(B_1|A)P(B_2|A)P(B_3|A)+P(\bar{A})P(B_1|\bar{A})P(B_2|\bar{A})P(B_3|\bar{A})}$

$P(\bar{A}|B)=P(\bar{A})\frac{P(B_1|\bar{A})P(B_2|\bar{A})P(B_3|\bar{A})}{P(A)P(B_1|A)P(B_2|A)P(B_3|A)+P(\bar{A})P(B_1|\bar{A})P(B_2|\bar{A})P(B_3|\bar{A})}$

问题的解决方法是: 最后算出来$P(嫁|帅;性格不好;不上进)$和 $P(不嫁|帅;性格不好;不上进)$的概率, 哪个值大就选哪一个. 其中:
$P(嫁|帅;性格不好;不上进)=P(嫁)\frac{(P(帅|嫁)P(性格不好|嫁)P(不上进|嫁))}{P(帅;性格不好;不上进)}$

$P(不嫁|帅;性格不好;不上进)=P(不嫁)\frac{(P(帅|不嫁)P(性格不好|不嫁)P(不上进|不嫁))}{P(帅;性格不好;不上进)}$

由$P(B)={\sum }_{i=1}^{n}P(A_i)P(B|A_i)$ :
$P(帅;性格不好;不上进)=P(嫁)P(帅│嫁)P(性格不好│嫁)P(不上进│嫁)+P(不嫁)P(帅│不嫁)P(性格不好│不嫁)P(不上进│不嫁)$
由表中数据, 有:
分子:
$P(嫁)P(帅│嫁)P(性格不好│嫁)P(不上进│嫁)=5/10\times 4/5\times 1/5\times 1/5=2/125$
$P(不嫁)P(帅│不嫁)P(性格不好│不嫁)P(不上进│不嫁)=5/10\times 1/5\times 3/5\times 2/5=3/125$
分母:

$P(帅;性格不好;不上进)=2/125+3/125=5/125$
最终结果:
$P(嫁|帅;性格不好;不上进)=2/125÷/5/125=0.4$
$P(不嫁|帅;性格不好;不上进)=3/125÷5/125=0.6$

所以, 女生选择不嫁给该男子.

看懂了这个二维朴素贝叶斯分类器的例子, 就可以推广到一般情况了. 见(二)朴素贝叶斯与贝叶斯分类器.