朴素贝叶斯法（统计学习方法四）

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。

1.朴素贝叶斯法的学习与分类

1.1基本方法

设输入空间是$\chi \subseteq R^n$，为n维向量的集合，输出空间为类别标记集合$y=c_1,c_2,...,c_k，X$是输入空间$\chi$上的随机向量，$Y$是定义在输出空间y上的随机变量，$P(X,Y)$是$X和Y$的联合概率分布，训练数据集
T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}
由$P(X,Y)$独立同分布产生。
朴素贝叶斯法通过训练数据集学习联合概率分布$P(X,Y)$，具体地，学习一下先验概率分布
$$P(Y=c_k)$$
和条件概率分布
$$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},X^{(2)}=x^{(2)},...,X^{(n)}=x^{(n)}|Y=c_k)$$
于是学得联合概率分布。
条件独立性假设是
$$PP(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},X^{(2)}=x^{(2)},...,X^{(n)}=x^{(n)}|Y=c_k)=\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$$
朴素贝叶斯法实际上学习到生成数据的机制，所以属于生成模型。条件独立假设等于说用于分类的特征在类确定的条件下都是条件独立的。

朴素贝叶斯法分类时，对给定的输入$x$，通过学习到的模型计算后验概率分布$P(Y=c_k|X=x)$，将后验概率最大的类作为$x$的输出，后验概率计算根据贝叶斯定理进行：
$$P(Y=c_k|X=x)=\frac{P(X=x|y=c_k)P(Y=c_k)}{{\sum }_{k}P(X=x|Y=c_k)P(Y=c_k)}$$
将上上式带入上式得
$$P(Y=c_k|X=x)=\frac{P(Y=c_k){\prod }_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)}{{\sum }_{k}P(Y=c_k){\prod }_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)}$$
朴素贝叶斯是求得右边值最大的y值，而分母对于任意$c_k$都相等。因此，朴素贝叶斯分类器可以表示为：
$$y=\arg \underset{c_k}{\max }P(Y=c_k)\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$$

1.2后验概率最大化的含义

后验概率最大化，等价于期望风险最小化。

2朴素贝叶斯法的参数估计

2.1极大似然估计

在朴素贝叶斯法中，学习意味着估计$P(Y=c_k)$和$P(X^{(j)}=x^{(j)}|Y=c_k)$。先验概率$P(Y=c_k)$的极大似然估计是
$$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N}$$
设第$j$个特征$x^{(j)}$可能的取值集合为 { a j 1 , a j 2 , . . . , a j s } \{a_{j1},a_{j2},...,a_{js}\} {aj1​,aj2​,...,ajs​}，条件概率$P(X^{(j)}=a_{jl}|Y=c_k)$的极大似然估计是
$$P(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{{\sum }_{i=1}^{N}I(y_i=c_k)}$$

2.2贝叶斯估计

用极大似然估计可能会出现索要估计的概率值为0的情况。这是会影响到后验概率的计算结果，使分类产生偏差。解决方法是采用贝叶斯估计。具体的，条件概率的贝叶斯估计是
$$P_{\lambda }(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl}+\lambda )}{{\sum }_{i=1}^{N}I(y_i=c_k)+S_j\lambda }$$
式中$\lambda \ge 0$，等价于在随机变量各个取值的频数的频数上赋予一个正数$\lambda >0$。当$\lambda =0$时就是极大似然估计。常取$\lambda =1$，这时称为拉普拉斯平滑。显然，对于任何$l=1,2,...,S_j,k=1,2,...,K$有
$$P_{\lambda }(X^{(j)}=a_{jl}|Y=c_k)>0$$
$$\sum _{l=1}^{S_j}P(X^{(j)}=a_{jl}|Y=c_k)=1$$
综上，先验概率的贝叶斯估计为：
$$P_{\lambda }(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)+\lambda }{N+K\lambda }$$