第四章-朴素贝叶斯法

极大似然估计

用极大似然估计法推出朴素贝叶斯法中的概率估计公式

1.在朴素贝叶斯法中，学习意味着估计$P(Y=c_k)$和$P(X^{(j)}=x^{(j)}|Y=c_k)$。可以应用极大似然估计法估计相应的概率。先验概率$P(Y=c_k)$的极大似然估计是

$$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N}\text{\hspace{1em}(1)}$$

在朴素贝叶斯法中，学习意味着估计$P(Y=c_k)$和$P(X^{(j)}=x^{(j)}|Y=c_k)$。

答：

• 设$P=P(Y=c_k)$

• $L=P^{{\sum }_{i=1}^{N}I(y_i=c_k)}\ast (1-P{)}^{{\sum }_{i=1}^{N}I(y_i\ne c_k)}$

• 两边同时取对数得$lnL=lnP{\sum }_{i=1}^{N}I(y_I=c_k)+ln(1-P){\sum }_{i=1}^{N}I(y_i=c_k))$

• 对$P$求偏导得

$$\frac{\partial L}{\partial P}=\frac{{\sum }_{i=1}^{N}I(y_I=c_k)}{P}-\frac{{\sum }_{i=1}^{N}I(y_I\ne c_k)}{1-P}=0$$

• 最终得$P=P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N}$
• END

2.设第$j$个特称$x^{(j)}$可能取值的集合为$a_{j1},\dots ,a_{j{S}_j}$，条件概率$P(X^{(j)}=a_{jl}|Y=c_k)$的极大似然估计是

$$P(X_{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{{\sum }_{i=1}^{N}I(y_i=c_k)}$$

$j=1,\dots ,n;l=1,\dots ,S_j;k=1,\dots ,K$式中$x_i^{(j)}$表示第$i$个样本的第$j$个特征，$a_{jl}$是第$j$个特征可能取得第$l$个值，$I$为指数函数。

答：

• $P(X_{(j)}=a_{jl}|Y=c_k)=\frac{P(X_{(j)}=a_{jl},Y=c_k)}{P(Y=c_k)}$

• 由上式(1)可得，分母$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N}$

• 同理分子$P(X_{(j)}=a_{jl},Y=c_k)=\frac{{\sum }_{i=1}^{N}I(X_i^{(j)}=a_{jl},Y=c_k)}{N}$

• 代入原式化简得$P(X_{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{{\sum }_{i=1}^{N}I(y_i=c_k)}$

• END

贝叶斯估计

用贝叶斯估计法推出朴素贝叶斯法中的概率估计公式

1.用极大似然估计可能会出现所要估计得概率值为0得情况。这时会影响到后验概率估计的结果，是分类产生偏差。解决这一问题的方式是采用贝叶斯估计。具体的，条件概率的贝叶斯估计是

$$P_{\lambda }(X_{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)+\lambda }{{\sum }_{i=1}^{N}I(y_i=c_k)+S_j\lambda }\text{\hspace{1em}(2)}$$

式中$\lambda \ge 0$。等价于在随机变量各个取值的频数上赋予一个正数$\lambda >0$。当$\lambda =0$时就是极大似然估计。常取$\lambda =0$，这是称为拉普拉斯平滑(Laplacian smoothing)。显然对任何$l=1,\dots ,S_j,k=1,\dots ,K$，有
$$\begin{gathered} P_{\lambda }(X_{(j)}=a_{jl}|Y=c_k)>0 \\ \sum _{l=1}^{S_j}P(X^{(j)}=a_{jl}|Y=c_k)=1 \end{gathered}$$

答：

• $P_{\lambda }(X_{(j)}=a_{jl}|Y=c_k)=\frac{P(X_{(j)}=a_{jl},Y=c_k)}{P(Y=c_k)}$
• 根据(3)$P_{\lambda }(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)+\lambda }{N+K\lambda }$，同时令$\lambda =\lambda S_j$
• 同理$P(X_{(j)}=a_{jl},Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)+\lambda }{N+k\lambda S_j}$
• 则$P_{\lambda }(X_{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)+\lambda }{N+k\lambda S_j}/\frac{{\sum }_{i=1}^{N}I(y_i=c_k)+\lambda }{N+K\lambda }$
• 整理得$P_{\lambda }(X_{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)+\lambda }{{\sum }_{i=1}^{N}I(y_i=c_k)+S_j\lambda }$
• END

2.表达式(2)确为一种概率分布。同样，先验概率的贝叶斯估计是

$$P_{\lambda }(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)+\lambda }{N+K\lambda }\text{\hspace{1em}(3)}$$

答：

• 考虑加入先验概率，在没有任何信息得情况下可假设先验概率均匀分布，由$P=P(Y=c_k)=\frac{1}{K}$得$PK-1=0$
• 由公式(1)得$PN-{\sum }_{i=1}^{N}I(Y=c_k)=0$
• 构造$\lambda (PK-1)+PN-{\sum }_{i=1}^{N}I(Y=c_k)=0$
• 上式化简得$P=P_{\lambda }(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)+\lambda }{N+K\lambda }$
• END