朴素贝叶斯法，后验概率最大化的含义，参数估计

朴素贝叶斯法

输出取值： y ∈ { c 1 , c 2 , . . . , c k } y \in \{ c_{1}, c_{2}, ..., c_{k} \} y∈{c1​,c2​,...,ck​}

输入取值： 假设 $x^{(j)}$ 可取值有 $S_j$ 个，其中 $j=1,2,...,n$

条件独立性假设：
$$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},X^{(2)}=x^{(2)},...,X^{(n)}=x^{(n)}|Y=c_k)=\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)(1.1)$$

朴素贝叶斯法由此得名。

由贝叶斯定理，得到后验概率：
$$P(Y=c_k|X=x)=\frac{P(X=x|Y=c_k)\cdot P(Y=c_k)}{{\sum }_{k}P(X=x|Y=c_k)\cdot P(Y=c_k)}(1.2)$$

将式（1.1）带入（1.2），有：
$$P(Y=c_k|X=x)=\frac{P(Y=c_k)\cdot {\prod }_j^{n}P(X^{(j)}=x^{(j)}|Y=c_k)}{{\sum }_{k}P(Y=c_k)\cdot {\prod }_j^{n}P(X^{(j)}=x^{(j)}|Y=c_k)}(1.3)$$

上式即为朴素贝叶斯法分类的基本公式。故，朴素贝叶斯分类器可表示为：
$$y=f(x)=arg\underset{c_k}{\max }\frac{P(Y=c_k)\cdot {\prod }_j^{n}P(X^{(j)}=x^{(j)}|Y=c_k)}{{\sum }_{k}P(Y=c_k)\cdot {\prod }_j^{n}P(X^{(j)}=x^{(j)}|Y=c_k)}(1.4)$$

由于上式对所有分母都是相同的，故：
$$y=f(x)=arg\underset{c_k}{\max }P(Y=c_k)\cdot \prod _j^{n}P(X^{(j)}=x^{(j)}|Y=c_k)(1.5)$$

后验概率最大化的含义

期望风险最小化，选择 0-1 损失函数：
$$L(Y,f(X))=\{\begin{array}{l}1,Y\ne f(X)\\ 0,Y=f(X)\end{array}(2.1)$$

式中，$f(X)$ 是分类决策函数。

期望风险函数为：
$$R_{exp}(f)=E[L(Y,f(X))](2.2)$$

上式中，期望是对联合分布 $P(X,Y)$ 取的，由此取条件期望，得：
$$R_{exp}(f)=E[L(Y,f(X))]=\sum _x\sum _{k}L(c_k,f(x))\cdot P(Y=c_k,X=x)=\sum _x\sum _{k}L(c_k,f(x))\cdot P(Y=c_k|X=x)\cdot P(X=x)=\sum _{x}P(X=x)\sum _{k}L(c_k,f(x))\cdot P(Y=c_k|X=x)=E_X[\sum _{k}L(c_k,f(x))\cdot P(Y=c_k|X=x)](2.3)$$

为使期望风险最小化，只需对 $X=x$ 逐个极小化，得：
$$f(x)=arg\underset{y}{\min }\sum _{k}L(c_k,f(x))\cdot P(Y=c_k|X=x)=arg\underset{c_k}{\min }\sum _{k}P(Y\ne c_k|X=x)=arg\underset{c_k}{\min }(1-P(Y=c_k|X=x))=arg\underset{c_k}{\max }P(Y=c_k|X=x)(2.4)$$
由期望风险最小化准则，可得后验概率最大化准则，即为朴素贝叶斯法所采用的原理。

综上所述，后验概率最大化等价于 0-1 损失函数时的期望风险最小化。

参数估计

在朴素贝叶斯法中，学习意味着估计先验概率 $P(Y=c_k)$ 和条件概率 $P(X^{(j)}=x^{(j)}|Y=c_k)$。

极大似然估计

先验概率 $P(Y=c_k)$ 的极大似然估计：
$$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N}k=1,2,...,K(3.1)$$

设第 $j$ 个特征 $x_{(j)}$ 可能取值的集合为 { a j , 1 , a j , 2 , . . . , a j , S j } \{a_{j, 1}, a_{j, 2}, ..., a_{j, S_{j}}\} {aj,1​,aj,2​,...,aj,Sj​​}，则条件概率 $P(X_{(j)}=a_{j,l}|Y=c_k)$ 的极大似然估计为：
$$P(X_{(j)}=a_{j,l}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{j,l},y_i=c_k)}{{\sum }_{j=1}^{N}I(y_i=c_k)}j=1,2,...,n;l=1,2,...,S_j;k=1,2,...,K(3.2)$$

贝叶斯估计

先验概率的贝叶斯估计：
$$P_{\lambda }(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)+\lambda }{N+k\cdot \lambda }(3.3)$$

条件概率的贝叶斯估计：
$$P_{\lambda }(X^{(j)}=a_{j,l}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{j,l},y_i=c_k)+\lambda }{{\sum }_{i=1}^{N}I(y_i=c_k)+S_j\cdot \lambda }(3.4)$$

其中，$\lambda \ge 0$。

当 $\lambda =0$ 时，即为极大似然估计；
常取 $\lambda =1$，此时称为拉普拉斯平滑（Laplace smoothing）。

显然有：
$$\begin{gathered} P_{\lambda }(X^{(j)}=a_{j,l}|Y=c_k)>0j=1,2,...,n;k=1,2,...,K;l=1,2,...,S_j \\ \sum _{l=1}^{S_j}P(X^{(j)}=a_{j,l}|Y=c_k)=1j=1,2,...,n;k=1,2,...,K \end{gathered}$$

参考资料

李航【统计学习方法】第一版，第4章