第四章朴素贝叶斯法.4.2 贝叶斯估计

本课程来自深度之眼，部分截图来自课程视频以及李航老师的《统计学习方法》第二版。
公式输入请参考： 在线Latex公式+

前情回顾

上节讲朴素贝叶斯算法的时候有3个步骤，第一个步骤公式的条件概率：
$$\begin{gathered} P(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{{\sum }_{i=1}^{N}I(y_i=C_k)} \\ j=1,2,\cdots ,n;l=1,2,\cdots ,S_j;k=1,2,\cdots ,K \end{gathered}$$
这里有问题，就是分子有可能为0，就是说某个分类下面没有样本。
这样会导致报错

贝叶斯估计

解决方法就是贝叶斯估计，也就是拉普拉斯平滑，就是分子分母同时加一个数字，但是概率总和为1保持不变。
$$P(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)+\lambda }{{\sum }_{i=1}^{N}I(y_i=C_k)+S_j\lambda }\text{\hspace{1em}(1)}$$
$S_j$是样本$x_i$可取的值的数目，例如性别可取的值的数目为2。
例如现在有5个小球样本，样本的颜色特征有三种（$S_j=3$），分别是红黄蓝，其中红色1个，黄色4个，蓝色没有。原来的小球概率为：
$$\frac{1}{5},\frac{4}{5},\frac{0}{5}\to 总和为1$$
加上拉普拉斯平滑后（取$\lambda =1$）：
$$\frac{1+1}{5+3\times 1},\frac{4+1}{5+3\times 1},\frac{0+1}{5+3\times 1}=\frac{2}{8},\frac{5}{8},\frac{1}{8}\to 总和为1$$
可以看到拉普拉斯平滑后概率总和不变。
同样的，对于先验概率有：
$$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N},k=1,2,\cdots ,K$$
加入拉普拉斯平滑后变成：
$$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)+\lambda }{N+K\lambda }\text{\hspace{1em}(2)}$$
K为列表数量

例子4.2

	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15
$X^{(1)}$	1	1	1	1	1	2	2	2	2	2	3	3	3	3	3
$X^{(2)}$	S	M	M	S	S	S	M	M	L	L	L	M	M	L	L
$Y$	-1	-1	1	1	-1	-1	-1	1	1	1	1	1	1	1	-1

取$\lambda =1$，先验概率为：
$$P(Y=1)=\frac{9+1}{15+2}=\frac{10}{17},P(Y=-1)=\frac{6+1}{15+2}=\frac{7}{17}$$
两个特征的取值数量都是3.
当$Y=1$，对于第一个特征
$P(X^{(1)}=1|Y=1)=\frac{2+1}{9+3}=\frac{3}{12},P(X^{(1)}=2|Y=1)=\frac{4}{12},P(X^{(1)}=3|Y=1)=\frac{5}{12}$
当$Y=1$，对于第二个特征
$P(X^{(2)}=S|Y=1)=\frac{1+1}{9+3}=\frac{1}{12},P(X^{(2)}=M|Y=1)=\frac{5}{12},P(X^{(2)}=L|Y=1)=\frac{5}{12}$
当$Y=-1$，对于第一个特征
$P(X^{(1)}=1|Y=-1)=\frac{3+1}{6+3}=\frac{4}{9},P(X^{(1)}=2|Y=-1)=\frac{3}{9},P(X^{(1)}=3|Y=-1)=\frac{2}{9}$
当$Y=-1$，对于第二个特征
$P(X^{(2)}=S|Y=-1)=\frac{3+1}{6+3}=\frac{4}{9},P(X^{(2)}=M|Y=-1)=\frac{3}{9},P(X^{(2)}=L|Y=-1)=\frac{2}{9}$

现在给定一个样本，$x=(2,S{)}^T$，我们分别计算：
$$P(Y=1)P(X^{(1)}=2|Y=1)P(X^{(2)}=S|Y=1)=\frac{10}{17}\cdot \frac{4}{12}\cdot \frac{2}{12}=0.0327$$
$$P(Y=-1)P(X^{(1)}=2|Y=-1)P(X^{(2)}=S|Y=-1)=\frac{7}{17}\cdot \frac{3}{9}\cdot \frac{4}{9}=0.0610$$
由于后者大，所以样本属于-1类。