朴素贝叶斯法

朴素贝叶斯法

设输入空间$x\in R^n$，输出空间为类标记集合 y = { c 1 . c 2 , . . . c k } y=\{c_1.c_2,...c_k \} y={c1​.c2​,...ck​}

先验概率

先验概率是根据以往经验和分析得到的概率，先验概率分布为
$$P(Y=c_k),k=1,2,...K\text{\hspace{1em}(1)}$$
例如15个球中，红球（$c_1$）有3个；白球（$c_2$）有8个；绿球（$c_3$）有4个

则$P(c_1)=1/5,P(c_2)=8/15,P(c_3)=4/15$

条件概率

条件概率是指事件A在事件B已经发生条件下发生的概率，条件概率分布为
$$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},X^{(2)}=x^{(2)},...,X^{(n)}=x^{(n)}|Y=c_k),k=1,2,...,K\text{\hspace{1em}(2)}$$
例如球有三种属性

1. $X^{(1)}$材质：塑料；金属
2. $X^{(2)}$质量：100g；300g
3. $X^{(3)}$体积：$50c{m}^3$；$100c{m}^3$

某个红球$x_1=(x_1^{(1)}=塑料,x_1^{(2)}=100g,x_1^{(3)}=50c{m}^3)$具有前述属性的概率为
$$P(x_1|c_1)=P(x^{(1)}=塑料，x^{(2)}=100g，x^{(3)}=50c{m}^3|c_1)\text{\hspace{1em}(3)}$$

朴素贝叶斯

朴素贝叶斯对条件概率分布做了条件独立性假设。例如假设球的三种属性间是相互独立的，事实上材质的密度会影响质量和体积，但我们假设不会影响，这虽然会降低模型的准确率，但能简化模型的复杂度

那么（2）式就可化为
$$P(X=x|Y=c_k)=\prod _{i=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)\text{\hspace{1em}(4)}$$
此时（3）式就可化为
$$P(x_1|c_1)=P(塑料|c_1)\times P(100g|c_1)\times P(50c{m}^3|c_1)\text{\hspace{1em}(5)}$$

后验概率

后验概率是指依据“结果”的信息计算其最有可能属于哪种种类的概率，例如根据球的属性计算该球颜色的概率。即计算
$$P(Y=c_k|X=x)\text{\hspace{1em}(6)}$$
后验概率通过贝叶斯定理获得，贝叶斯公式为
$$P(A|B)=P(AB)/P(B)\text{\hspace{1em}(7)}$$
由（6）可得
$$\begin{array}{ll}P(Y=c_k|X=x)& =\frac{P(X=x,Y=c_k)}{P(X=x)}\\ & =\frac{P(X=x|Y=c_k)P(Y=c_k)}{P(X=x)}\end{array}\text{\hspace{1em}(8)}$$

全概率公式

如果事件$B_1,B_2,...,B_n$构成一个完备事件组，即两两之间相互独立没有交集，且全部的合集为全集，那么对任一事件A有
$$P(A)=P(A{B}_1)+P(A{B}_2)+...+P(A{B}_n)\text{\hspace{1em}(9)}$$
我们知道集合 y = { c 1 . c 2 , . . . c k } y=\{c_1.c_2,...c_k \} y={c1​.c2​,...ck​}中的所有事件构成一个完备事件组，那么
$$P(X=x)=\sum _{k}P(X=x,Y=c_k)\text{\hspace{1em}(10)}$$
（10）（7）（4）先后代入（8）式可得
$$\begin{array}{ll}P(Y=c_k|X=x)& =\frac{P(X=x|Y=c_k)P(Y=c_k)}{{\sum }_{k}P(X=x,Y=c_k)}\\ & =\frac{P(X=x|Y=c_k)P(Y=c_k)}{{\sum }_{k}P(X=x|Y=c_k)P(Y=c_k)}\\ & =\frac{P(Y=c_k){\prod }_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)}{{\sum }_{k}P(Y=c_k){\prod }_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)}\end{array}\text{\hspace{1em}(11)}$$

后验概率最大化

在（11）式计算的后验概率中可以得到一个实例属于不同种类的概率，例如已知一个球$x_1=(x_1^{(1)}=塑料,x_1^{(2)}=100g,x_1^{(3)}=50c{m}^3)$是红色的概率为1/5；是白色的概率为3/5；是绿色的概率为1/5，那么我们可以估测该球应该是白色。后验概率最大化实际上等价于期望风险最小化，此处不做证明

那么朴素贝叶斯分类器可表示为
$$y={\mathrm{argmax}}_{c_k}P(Y=c_k|X=x)\text{\hspace{1em}(12)}$$
（11）式中分母对于所有$c_k$都是相同的，所以
$$y={\mathrm{argmax}}_{c_k}P(Y=c_k)\prod _{j=1}^{n}P(X^{(j)}=x^{(i)}|Y=c_k)\text{\hspace{1em}(13)}$$

极大似然估计

在（13）式的朴素贝叶斯分类器中有两个参数需要确定

1. $P(Y=c_k)$
2. $P(X^{(j)}=x^{(j)}|Y=c_k)$

这两个参数可以使用极大似然估计法得出结果
$$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N}\text{\hspace{1em}(14)}$$
其中I(x)为指示函数，即I(true)=1;I(false)=0。N为样本容量。例如先验概率中的红白球的概率就是通过极大似然估计法得出的。

同理
$$P(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{{\sum }_{i=1}^{N}I(y_i=c_k)}\text{\hspace{1em}(15)}$$
其中$a_{jl}$为$X^{(j)}$的可能取值，$l=1,2,...S_j$。例如球的质量属性$X^{(2)}$可能取值为

1. $a_{21}=100g$
2. $a_{22}=300g$

3个红球中，质量为100g的有两个，那么$P(X^{(2)}=100g|c_1)=2/3$

贝叶斯估计

使用极大似然估计可能会出现所要估计的概率值为0的情况。例如3个红球中，质量为100g的球有3个，那么$P(X^{(2)}=200g|c_1)=0$，此时需要计算200g的球所属颜色时就无法进行。解决这一问题的方法是采用贝叶斯估计，即在极大似然估计的基础上加一个常数$\lambda \ge 0$

那么先验概率的贝叶斯估计为
$$P_{\lambda }(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)+\lambda }{N+K\lambda }\text{\hspace{1em}(16)}$$
K为集合 y = { c 1 . c 2 , . . . c k } y=\{c_1.c_2,...c_k \} y={c1​.c2​,...ck​}的样本容量

同理，条件概率的贝叶斯估计为
$$P_{\lambda }(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)+\lambda }{{\sum }_{i=1}^{N}I(y_i=c_k)+S_j\lambda }\text{\hspace{1em}(15)}$$
其中$S_j$为$X^{(j)}$的可能取值的总数