【统计学习方法】第4章 朴素贝叶斯法

朴素贝叶斯（naive Bayes）法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入$x$，利用贝叶斯定理求出后验概率最大的输出$y$。 朴素贝叶斯法实现简单，学习与预测的效率都很高，是一种常用的方法。

1、朴素贝叶斯法

训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } \begin{aligned} & T = \left\{ \left( x_{1}, y_{1} \right), \left( x_{2}, y_{2} \right), \cdots, \left( x_{N}, y_{N} \right) \right\} \end{aligned} ​T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}​

由$P\left(X,Y\right)$独立同分布产生。其中， x i ∈ X ⊆ R n , y i ∈ Y = { c 1 , c 2 , ⋯   , c K } , i = 1 , 2 , ⋯   , N x_{i} \in \mathcal{X} \subseteq R^{n}, y_{i} \in \mathcal{Y} = \left\{ c_{1}, c_{2}, \cdots, c_{K} \right\}, i = 1, 2, \cdots, N xi​∈X⊆Rn,yi​∈Y={c1​,c2​,⋯,cK​},i=1,2,⋯,N，$x_i$为第$i$个特征向量（实例），$y_i$为$x_i$的类标记， $X$是定义在输入空间$\mathcal{X}$上的随机向量，$Y$是定义在输出空间$\mathcal{Y}$上的随机变量。$P\left(X,Y\right)$是$X$和$Y$的联合概率分布。

算法推导

条件独立性假设

$$\begin{array}{rl}& P\left(X=x|Y=c_k\right)=P\left(X^{\left(1\right)}=x^{\left(1\right)},\cdots ,X^{\left(n\right)}=x^{\left(n\right)}|Y=c_k\right)\\ & =\prod _{j=1}^{n}P\left(X^{\left(j\right)}=x^{\left(j\right)}|Y=c_k\right)\end{array}$$

即，用于分类的特征在类确定的条件下都是条件独立的。

由$$\begin{array}{rl}& P\left(X=x,Y=c_k\right)=P\left(X=x|Y=c_k\right)P\left(Y=c_k\right)\\ & P\left(X=x,Y=c_k\right)=P\left(Y=c_k|X=x\right)P\left(X=x\right)\end{array}$$

得

$$\begin{array}{rl}& P\left(X=x|Y=c_k\right)P\left(Y=c_k\right)=P\left(Y=c_k|X=x\right)P\left(X=x\right)\\ & P\left(Y=c_k|X=x\right)=\frac{P\left(X=x|Y=c_k\right)P\left(Y=c_k\right)}{P\left(X=x\right)}\\ & =\frac{P\left(X=x|Y=c_k\right)P\left(Y=c_k\right)}{{\sum }_{Y}P\left(X=x,Y=c_k\right)}\\ & =\frac{P\left(X=x|Y=c_k\right)P\left(Y=c_k\right)}{{\sum }_{Y}P\left(X=x|Y=c_k\right)P\left(Y=c_k\right)}\\ & =\frac{P\left(Y=c_k\right){\prod }_{j=1}^{n}P\left(X^{\left(j\right)}=x^{\left(j\right)}|Y=c_k\right)}{{\sum }_{Y}P\left(Y=c_k\right){\prod }_{j=1}^{n}P\left(X^{\left(j\right)}=x^{\left(j\right)}|Y=c_k\right)}\end{array}$$

朴素贝叶斯分类器可表示为

$$\begin{array}{rl}& y=f\left(x\right)=\arg \underset{c_k}{\max }\frac{P\left(Y=c_k\right){\prod }_{j=1}^{n}P\left(X^{\left(j\right)}=x^{\left(j\right)}|Y=c_k\right)}{{\sum }_{Y}P\left(Y=c_k\right){\prod }_{j=1}^{n}P\left(X^{\left(j\right)}=x^{\left(j\right)}|Y=c_k\right)}\\ & =\arg \underset{c_k}{\max }P\left(Y=c_k\right)\prod _{j=1}^{n}P\left(X^{\left(j\right)}=x^{\left(j\right)}|Y=c_k\right)\end{array}$$

2、参数估计

极大似然估计

朴素贝叶斯模型参数的极大似然估计

先验概率$P\left(Y=c_k\right)$的极大似然估计
$$\begin{array}{r}P\left(Y=c_k\right)=\frac{{\sum }_{i=1}^{N}I\left(y_i=c_k\right)}{N}k=1,2,\cdots ,K\end{array}$$

设第$j$个特征$x^{\left(j\right)}$可能取值的集合为$\left\{a_{j1},a_{j2},\cdots ,a_{j{S}_j}\right\}$，条件概率$P\left(X^{\left(j\right)}=a_{jl}|Y=c_k\right)$的极大似然估计$$\begin{array}{rl}& P\left(X^{\left(j\right)}=a_{jl}|Y=c_k\right)＝\frac{{\sum }_{i=1}^{N}I\left(x_i^{\left(j\right)}=a_{jl},y_i=c_k\right)}{{\sum }_{i=1}^{N}I\left(y_i=c_k\right)}\\ & j=1,2,\cdots ,n;l=1,2,\cdots ,S_j;k=1,2,\cdots ,K\end{array}$$

其中，$x_i^{\left(j\right)}$是第$i$个样本的第$j$个特征；$a_{jl}$是第$j$个特征可能取的第$l$个值；$I$是指示函数。

贝叶斯估计

对于$x$的某个特征的取值没有在先验中出现的情况 ，如果用极大似然估计，这种情况的可能性就是0。 但是出现这种情况的原因通常是因为数据集不能全覆盖样本空间，出现未知的情况处理的策略就是做平滑。

朴素贝叶斯算法：
朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。

• 输入：线性可分训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T = \left\{ \left( x_{1}, y_{1} \right), \left( x_{2}, y_{2} \right), \cdots, \left( x_{N}, y_{N} \right) \right\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}，其中$x_i＝{\left(x_i^{\left(1\right)},x_i^{\left(2\right)},\cdots ,x_i^{\left(n\right)}\right)}^T$，$x_i^{\left(j\right)}$是第$i$个样本的第$j$个特征，$x_i^{\left(j\right)}\in \left\{a_{j1},a_{j2},\cdots ,a_{j{S}_j}\right\}$，$a_{jl}$是第$j$个特征可能取的第$l$个值， j = 1 , 2 , ⋯   , n ; l = 1 , 2 , ⋯   , S j , y i ∈ { c 1 , c 2 , ⋯   , c K } j = 1, 2, \cdots, n; l = 1, 2, \cdots, S_{j},y_{i} \in \left\{ c_{1}, c_{2}, \cdots, c_{K} \right\} j=1,2,⋯,n;l=1,2,⋯,Sj​,yi​∈{c1​,c2​,⋯,cK​}；实例$x$；
• 输出：实例$x$的分类

1. 计算先验概率及条件概率
   $$\begin{array}{rl}& P\left(Y=c_k\right)=\frac{{\sum }_{i=1}^{N}I\left(y_i=c_k\right)}{N}k=1,2,\cdots ,K\\ & P\left(X^{\left(j\right)}=a_{jl}|Y=c_k\right)＝\frac{{\sum }_{i=1}^{N}I\left(x_i^{\left(j\right)}=a_{jl},y_i=c_k\right)}{{\sum }_{i=1}^{N}I\left(y_i=c_k\right)}\\ & j=1,2,\cdots ,n;l=1,2,\cdots ,S_j;k=1,2,\cdots ,K\end{array}$$

2. 对于给定的实例$x={\left(x^{\left(1\right)},x^{\left(2\right)},\cdots ,x^{\left(n\right)}\right)}^T$，计算

$$\begin{array}{rl}& P\left(Y=c_k\right)\prod _{j=1}^{n}P\left(X^{\left(j\right)}=x^{\left(j\right)}|Y=c_k\right)k=1,2,\cdots ,K\end{array}$$

3. 确定实例$x$的类别
   $$\begin{array}{rl}& y=f\left(x\right)=\arg \underset{c_k}{\max }P\left(Y=c_k\right)\prod _{j=1}^{n}P\left(X^{\left(j\right)}=x^{\left(j\right)}|Y=c_k\right)\end{array}$$

朴素贝叶斯模型参数的贝叶斯估计

条件概率的贝叶斯估计$$\begin{array}{rl}& P_{\lambda }\left(X^{\left(j\right)}=a_{jl}|Y=c_k\right)＝\frac{{\sum }_{i=1}^{N}I\left(x_i^{\left(j\right)}=a_{jl},y_i=c_k\right)+\lambda }{{\sum }_{i=1}^{N}I\left(y_i=c_k\right)+S_j\lambda }\end{array}$$

式中$\lambda \ge 0$。当$\lambda ＝0$时，是极大似然估计；当$\lambda ＝1$时，称为拉普拉斯平滑。
先验概率的贝叶斯估计$$\begin{array}{rl}& P\left(Y=c_k\right)=\frac{{\sum }_{i=1}^{N}I\left(y_i=c_k\right)+\lambda }{N+K\lambda }\end{array}$$

3、概要总结

1．朴素贝叶斯法是典型的生成学习方法。生成方法由训练数据学习联合概率分布 $P(X,Y)$，然后求得后验概率分布$P(Y|X)$。具体来说，利用训练数据学习$P(X|Y)$和$P(Y)$的估计，得到联合概率分布：

$$P(X,Y)＝P(Y)P(X|Y)$$

概率估计方法可以是极大似然估计或贝叶斯估计。

2．朴素贝叶斯法的基本假设是条件独立性，

$$\begin{array}{rl}P(X& =x|Y=c_k)=P\left(X^{(1)}=x^{(1)},\cdots ,X^{(n)}=x^{(n)}|Y=c_k\right)\\ & =\prod _{j=1}^{n}P\left(X^{(j)}=x^{(j)}|Y=c_k\right)\end{array}$$

这是一个较强的假设。由于这一假设，模型包含的条件概率的数量大为减少，朴素贝叶斯法的学习与预测大为简化。因而朴素贝叶斯法高效，且易于实现。其缺点是分类的性能不一定很高。

3．朴素贝叶斯法利用贝叶斯定理与学到的联合概率模型进行分类预测。

$$P(Y|X)=\frac{P(X,Y)}{P(X)}=\frac{P(Y)P(X|Y)}{{\sum }_{Y}P(Y)P(X|Y)}$$
将输入$x$分到后验概率最大的类$y$。

$$y=\arg \underset{c_k}{\max }P\left(Y=c_k\right)\prod _{j=1}^{n}P\left(X_j=x^{(j)}|Y=c_k\right)$$

后验概率最大等价于0-1损失函数时的期望风险最小化。