【统计学习方法】第4章 朴素贝叶斯法

朴素贝叶斯（naive Bayers）法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练集数据，首先基于特征条件独立假设学习输入/输出的联合分布概率；然后基于此模型，对于给定的输入 $x$，利用贝叶斯定理求出后验概率最大的输出 $y$。

4.1 朴素贝叶斯法

朴素贝叶斯法通过训练数据集学习联合概率分布 $P(X,Y)$。具体地，学习以下先验概率分布及条件概率分布。先验概率分布

$$P(Y=c_k),k=1,2,\cdots ,K$$

条件概率分布

$$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},\cdots ,X^{(n)}=x^{(n)}|Y=c_k),k=1,2,\cdots ,K$$

于是学到联合概率分布 $P(X,Y)$。朴素贝叶斯法对条件概率分布作了条件独立性的假设。具体地，条件独立性假设是

$$P(X=x|Y=c_k)=\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$$

朴素贝叶斯法实际上学习到生成数据的机制，所以属于生成模型。条件独立假设等于说用于分类的特征在类确定的条件下都是条件独立的。这一假设使朴素贝叶斯法变得简单，但有时会牺牲一定的分类准确率。

朴素贝叶斯法分类时，对于给定的输入 $x$，通过学习到的模型计算后验概率分布 $P(Y=c_k|X=x)$，将后验概率最大的类作为 $x$ 的类输出。后验概率计算根据贝叶斯定理进行：

$$P(Y=c_k|X=x)=\frac{P(X=x|Y=c_k)P(Y=c_k)}{{\sum }_{k}P(X=x|Y=c_k)P(Y=c_k)}$$

将上面两个式子进行联立，得到

$$P(Y=c_k|X=x)=\frac{P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)}{{\sum }_{k}P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)},k=1,2,\cdots ,K$$

于是，朴素贝叶斯分类器可表示为

$$y=f(x)=\underset{c_k}{\mathrm{argmax}}\frac{P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)}{{\sum }_{k}P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)}$$

注意到，在上式中分母对所有 $c_k$ 都是相同的，所以

$$y=\underset{c_k}{\mathrm{argmax}}P(Y=c_k)\prod _{j}P(X^{(j)}=x^{(j)}|Y=c_k)$$

朴素贝叶斯法将实例分到后验概率最大的类中，等价于期望风险最小化。

4.2 朴素贝叶斯法的参数估计

4.2.1 极大似然估计

在朴素贝叶斯法中，学习意味着估计 $P(Y=c_k)$ 和 $P(X^{(j)}=x^{(j)}|Y=c_k)$。可以应用极大似然估计法估计相应的概率。先验概率 $P(Y=c_k)$ 的极大似然概率估计是

$$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N},k=1,2,\cdots ,K$$

设第 $j$ 个特征 $x^{(j)}$ 可能取值的集合为 { a j 1 , a j 2 , ⋯   , a j S j } \{a_{j1},a_{j2},\cdots,a_{jS_j}\} {aj1​,aj2​,⋯,ajSj​​}，条件概率 $P(X^{(j)}=a_{jl}|Y=c_k)$ 的极大似然估计是

$$\begin{array}{r}P(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{{\sum }_{i=1}^{N}I(y_l=c_k)}\\ j=1,2,\cdots ,n;l=1,2,\cdots ,S_j;k=1,2,\cdots ,K\end{array}$$

式中，$x_i^{(j)}$ 是第 $i$ 个样本的第 $j$ 个特征；$a_{jl}$ 是第 $j$ 个特征可能取的第 $l$ 个值；$I$ 为指示函数。

4.2.2 学习与分类算法

输入：训练数据 $T=\{(x_1,y_1),\cdots ,(x_N,y_N)\}$，其中 $x_i=(x_i^{(1)},\cdots ,x_i^{(n)}{)}^T$，$x_i^{(j)}$ 是第 $i$ 个样本的第 $j$ 个特征， x i ( j ) ∈ { a j 1 , ⋯   , a j S j } x_i^{(j)}\in\{a_{j1},\cdots,a_{jS_j}\} xi(j)​∈{aj1​,⋯,ajSj​​}，$a_{jl}$ 是第 $j$ 个特征可能取的第 $l$ 个值，$j=1,2,\cdots ,n$，$l=1,2,\cdots ,S_j$，$$\begin{gathered} y_i\in \\ {c}_1,c_2,\cdots ,c_K \end{gathered}$$；实例 $x$

输出：实例 $x$ 的分类

1. 计算先验概率及条件概率
2. 对于给定的实例 $x$，计算 $P(Y=c_k)$
3. 确定实例 $x$ 的类

4.2.3 贝叶斯估计

用极大似然户籍可能会出现所要估计的概率值为0的情况。这时会影响后验概率的计算结果，使分类产生偏差。解决这一问题的方法是采用贝叶斯估计。具体地，条件概率的贝叶斯估计是

$$P_{\lambda }(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)+\lambda }{{\sum }_{i=1}^{N}I(y_i=c_k)+S_j\lambda }$$

式中 $\lambda ⩾0$，等价于在随机变量各个取值的频数上赋予一个正数 $\lambda >0$。当 $\lambda =0$时就是极大似然估计，常取 $\lambda =1$，这时称为拉普拉斯平滑（Laplace smoothing）。同样，先验概率的贝叶斯估计是

$$P_{\lambda }(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)+\lambda }{N+K\lambda }$$