朴素贝叶斯

概述

朴素贝叶斯法基于特征条件独立假设与贝叶斯定理。首先，基于特征条件独立假设，学习输入与输出的联合概率分布（生成模型）；然后，根据学习到的概率模型，对给定输入利用贝叶斯定理求出后验概率最大的输出，作为该输入的类别。

模型

有如下假设：

• 输入空间 $\mathcal{X}\subseteq {\mathbf{R}}^n$ 为 $n$ 维向量的集合，输出空间 Y = { c 1 , c 2 , ⋯   , c K } \mathcal{Y}=\{c_1,c_2,\cdots,c_K\} Y={c1​,c2​,⋯,cK​} 为类标记的集合。
• 输入为特征向量 $\mathbf{x}\in \mathcal{X}$，输出为类标记 $y\in \mathcal{Y}$。
• $\mathbf{X}$是定义在输入空间 $\mathcal{X}$ 上的随机向量，$Y$ 是定义在输出空间 $\mathcal{Y}$ 上的随机变量，$P(\mathbf{X},Y)$ 为 $\mathbf{X}$ 和 $Y$ 的联合概率分布。
• 训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T=\{(\bm{x}_1,y_1),(\bm{x}_2,y_2),\cdots,(\bm{x}_N,y_N)\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)} 由 $P(\mathbf{X},Y)$ 独立同分布产生。

朴素贝叶斯法通过训练数据集 $T$ 学习以下两个分布

• 先验概率分布：
  $$P(Y=c_k)$$
• 条件概率分布：
  $$P(\mathbf{X}=\mathbf{x}|Y=c_k)=P(X^{(1)}=x^{(1)},\cdots ,X^{(n)}=x^{(n)}|Y=c_k)$$

其中，$k=1,2,\cdots ,K$。根据上述两个分布即可确定联合概率分布 $P(\mathbf{X},Y)$，故朴素贝叶斯法属于生成方法。

输出 $Y$ 的先验概率可由样本频率直接得到。条件概率常通过参数估计的方式获得，然而，上述条件概率分布包含指数级数量的参数，估计非常困难。朴素贝叶斯法对条件概率分布作了条件独立性假设，即在类确定的条件下，用于分类的特征是独立的：
$$\begin{array}{rl}P(\mathbf{X}=\mathbf{x}|Y=c_k)& =P(X^{(1)}=x^{(1)},\cdots ,X^{(n)}=x^{(n)}|Y=c_k)\\ & =\prod _{i=1}^{n}P(X^{(i)}=x^{(i)}|Y=c_k)\end{array}$$

条件独立性假设可简化学习算法，但也造成了分类准确率的降低。

预测时采用后验概率最大化准则：对于任意输入 $\mathbf{x}$，通过学习到的先验概率和条件概率计算后延概率 $P(Y=c_k|\mathbf{X}=\mathbf{x})$，将后验概率最大的类作为输出。后验概率的计算采用贝叶斯定理：
$$P(Y=c_k|\mathbf{X}=\mathbf{x})=\frac{P(\mathbf{X}=\mathbf{x}|Y=c_k)P(Y=c_k)}{{\sum }_{i=1}^{K}P(\mathbf{X}=\mathbf{x}|Y=c_i)P(Y=c_i)}$$
由条件独立性假设：
$$P(Y=c_k|\mathbf{X}=\mathbf{x})=\frac{P(Y=c_k){\prod }_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)}{{\sum }_{i=1}^{K}P(Y=c_i){\prod }_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_i)}$$
其中，$k=1,2,\cdots ,K$。朴素贝叶斯模型可表示为：
$$y=f(\mathbf{x})=\arg \underset{c_k}{\max }\frac{P(Y=c_k){\prod }_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)}{{\sum }_{i=1}^{K}P(Y=c_i){\prod }_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_i)}$$
上式的分母对所有 $c_k$ 是相同的，因此，模型亦可表示为：
$$y=f(\mathbf{x})=\arg \underset{c_k}{\max }P(Y=c_k)\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$$

后验概率最大化等价于期望风险最小化。

概率估计

极大似然估计

朴素贝叶斯法需要根据训练样本估计先验概率 $P(Y=c_k)$ 和条件概率 $P(X^{(j)}=x^{(j)}|Y=c_k)$。通常采用极大似然估计。

先验概率 $P(Y=c_k)$ 的极大似然估计为
$$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N},k=1,2,\cdots ,K$$
假设第 $j$ 个特征 $x^{(j)}$ 的可能取值有 $S_j$ 个，取值集合为 { a j 1 , a j 2 , ⋯   , a j S j } \{a_{j1},a_{j2},\cdots,a_{jS_j}\} {aj1​,aj2​,⋯,ajSj​​}，则条件概率 $P(X^{(j)}=a_{jl}|Y=c_k)$ 的极大似然估计为
$$P(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(l)}=a_{jl},y_i=c_k)}{{\sum }_{i=1}^{N}I(y_i=c_k)}$$
其中， j ∈ { 1 , 2 , ⋯   , n } j\in\{1,2,\cdots,n\} j∈{1,2,⋯,n}， l ∈ { 1 , 2 , ⋯   , S j } l\in\{1,2,\cdots,S_j\} l∈{1,2,⋯,Sj​}， k ∈ { 1 , 2 , ⋯   , K } k\in\{1,2,\cdots,K\} k∈{1,2,⋯,K}。$x_i^{(j)}$ 为第 $i$ 个样本的第 $j$ 个特征，$a_{jl}$ 为第 $j$ 个特征可取的第 $l$ 个值。

贝叶斯估计

对于待测实例 $\mathbf{x}=(x^{(1)},x^{(2)},\cdots ,x^{(n)}{)}^{\mathrm{T}}$，若存在某个特征值 $x^{(j)}=a$，使得
$$\sum _{i=1}^{N}I(x_i^{(j)}=a,y=c_k)=0$$
即训练样本集中没有第 $j$ 个特征为 $a$ 且类别为 $c_k$ 的样本，则有
$$P(X^{(j)}=a|Y=c_k)=0$$
于是，
$$\prod _{j=1}^{n}P(X^{(j)}=a|Y=c_k)=0$$
假设对所有 c k ∈ { c 1 , c 2 , ⋯   , c K } c_k\in\{c_1,c_2,\cdots,c_K\} ck​∈{c1​,c2​,⋯,cK​}，上述概率均为0，则朴素贝叶斯模型失效，无法获得概率最大的类别；即使只有部分类别存在上述情况，也会使分类结果产生偏差。

要解决上述问题，条件概率的计算可采用贝叶斯估计：
$$P_{\lambda }(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)+\lambda }{{\sum }_{i=1}^{N}I(y_i=c_k)+S_j\lambda }$$
其中，$\lambda \ge 0$。当 $\lambda =0$ 时，即为极大似然估计；当 $\lambda =1$ 时，称为拉普拉斯平滑（Laplace Smoothing）。由于 $S_j$ 为第 $j$ 个特征可取值的数目，所以，
$$\begin{array}{rl}\sum _{l=1}^{S_j}{P}_{\lambda }(X^{(j)}=a_{jl}|Y=c_k)& =\frac{{\sum }_{l=1}^{S_j}\left({\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)+\lambda \right)}{{\sum }_{i=1}^{N}I(y_i=c_k)+S_j\lambda }\\ & =\frac{{\sum }_{l=1}^{S_j}{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)+S_j\lambda }{{\sum }_{i=1}^{N}I(y_i=c_k)+S_j\lambda }\\ & =\frac{{\sum }_{i=1}^N\left({\sum }_{l=1}^{S_j}I(x_i^{(j)}=a_{jl},y_i=c_k)\right)+S_j\lambda }{{\sum }_{i=1}^{N}I(y_i=c_k)+S_j\lambda }\\ & =\frac{{\sum }_{i=1}^{N}I(y_i=c_k)+S_j\lambda }{{\sum }_{i=1}^{N}I(y_i=c_k)+S_j\lambda }\\ & =1\end{array}$$
即在类别 $c_k$ 下，第 $j$ 个特征取到所有值的概率为1。又因为
$$P_{\lambda }(X^{(j)}=a_{jl}|Y=c_k)\ge 0$$
所以 $P_{\lambda }(X^{(j)}=a_{jl}|Y=c_k)$ 是一种概率分布。

同理，先验概率的计算也可采用贝叶斯估计：
$$P_{\lambda }(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)+\lambda }{N+K\lambda }$$
此时有
$$P_{\lambda }(Y=c_k)\ge 0$$
且
$$\begin{array}{rl}\sum _{k=1}^K{P}_{\lambda }(Y=c_k)& =\frac{{\sum }_{k=1}^K\left({\sum }_{i=1}^{N}I(y_i=c_k)+\lambda \right)}{N+K\lambda }\\ & =\frac{{\sum }_{k=1}^K{\sum }_{i=1}^{N}I(y_i=c_k)+K\lambda }{N+K\lambda }\\ & =\frac{N+K\lambda }{N+K\lambda }\\ & =1\end{array}$$

---

总结：朴素贝叶斯算法

输入：

• 训练数据集
  T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T=\{(\bm{x}_1,y_1),(\bm{x}_2,y_2),\cdots,(\bm{x}_N,y_N)\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}
  其中
  $${\mathbf{x}}_i={\left(x_i^{(1)},x_i^{(2)},\cdots ,x_i^{(n)}\right)}^{\mathrm{T}}$$
  $x_i^{(j)}$ 是第 $i$ 个样本的第 $j$ 个特征，有
  x i ( j ) ∈ { a j 1 , a j 2 , ⋯   , a j S j } x_i^{(j)}\in\{a_{j1},a_{j2},\cdots,a_{jS_j}\} xi(j)​∈{aj1​,aj2​,⋯,ajSj​​}
  $a_{jl}$ 是第 $j$ 个特征可取的第 $l$ 个值，有 j ∈ { 1 , 2 , ⋯   , n } j\in\{1,2,\cdots,n\} j∈{1,2,⋯,n}， l ∈ { 1 , 2 , ⋯   , S j } l\in\{1,2,\cdots,S_j\} l∈{1,2,⋯,Sj​}。
  同时， y k ∈ { c 1 , c 2 , ⋯   , c K } y_k\in\{c_1,c_2,\cdots,c_K\} yk​∈{c1​,c2​,⋯,cK​}。
• 输入实例 $\mathbf{x}$。

输出：

• 实例 $\mathbf{x}$ 的分类。

算法：

1. 对所有 c k ∈ { c 1 , c 2 , ⋯   , c K } c_k\in\{c_1,c_2,\cdots,c_K\} ck​∈{c1​,c2​,⋯,cK​}，计算先验概率 $P(Y=c_k)$ 与条件概率 $P(X^j=a_{jl}|Y=c_k)$：
   $$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N}$$
   $$P(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{{\sum }_{i=1}^{N}I(y_i=c_k)}$$
2. 对所有 c k ∈ { c 1 , c 2 , ⋯   , c K } c_k\in\{c_1,c_2,\cdots,c_K\} ck​∈{c1​,c2​,⋯,cK​}，计算实例 $\mathbf{x}={\left(x^{(1)},x^{(2)},\cdots ,x^{(n)}\right)}^{\mathrm{T}}$ 在各类别条件下取相应特征值的条件概率，进而得到模型值：
   $$P(Y=c_k)\prod _{j=1}^{n}P(X_{(j)}=x^{(j)}|Y=c_k)$$
3. 确定实例 $\mathbf{x}$ 的类别：
   $$y=\arg \underset{c_k}{\max }P(Y=c_k)\prod _{j=1}^{n}P(X_{(j)}=x^{(j)}|Y=c_k)$$