李航《统计学习方法》第4章——朴素贝叶斯法

一、方法原理

输入空间为 $n$ 向量：$\mathcal{X}\subseteq {\mathbb{R}}^n$

输出空间为类标记：Y={c1,c2,...,cK}\mathcal{Y} = \{ c_1,c_2,...,c_K\}Y={c1​,c2​,...,cK​}

训练数据集： T={(x1,y1),(x2,y2),...,(xN,yN)}T = \{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)} ，由联合分布 $P(X,Y)$ 独立同分布产生。

朴素贝叶斯方法就是通过训练数据集学习联合概率分布 $P(X,Y)$，具体学习过程如下：

• 先验概率：$P(Y=c_k),k=1,2,....,K$；

• 条件概率：$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},X^{(2)}=x^{(2)},...,X^{(n)}=x^{(n)}|Y=c_k),k=1,2,...,K$，$X^{(i)}$ 为 $X$ 的第 $i$ 个分量。

朴素贝叶斯分类有一个前提假设就是条件独立性假设，也就是：
$$\begin{gathered} P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},X^{(2)}=x^{(2)},...,X^{(n)}=x^{(n)}|Y=c_k) \\ =\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k) \end{gathered}$$
所以，使用朴素贝叶斯方法分类时，对于给定的输入 $x$，通过学习到的模型可以计算后验概率 $P(Y=c_k|X=x)$：
$$\begin{gathered} P(Y=c_k|X=x)=\frac{P(Y=c_k)P(X=x|Y=c_k)}{{\sum }_{k}P(Y=c_k)P(X=x|Y=c_k)} \\ =\frac{P(Y=c_k){\prod }_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)}{{\sum }_{k}P(Y=c_k){\prod }_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)} \end{gathered}$$
将后验概率最大的类作为当前输入的输出结果，所以朴素贝叶斯分类器可以表示为：
$$y=f(x)=\arg \underset{c_k}{\max }\frac{P(Y=c_k){\prod }_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)}{{\sum }_{k}P(Y=c_k){\prod }_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)}$$
由于上式分母都相同，所以也等价于：
$$y=f(x)=\arg \underset{c_k}{\max }P(Y=c_k)\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$$

后验概率最大化，其实等价于期望风险最小化:

假设损失函数选择 0-1 损失，$L(Y,f(X))=\{\begin{array}{c}1,Y\ne f(X)\\ 0,Y=f(X)\end{array}$

那么此时期望风险可以表示为：
$$\begin{gathered} R_{exp}(f)=E[L(Y,f(X))] \\ =\sum _x\sum _{c_k}L(c_k,f(x))P(x,y) \\ =\sum _x\sum _{c_k}L(c_k,f(x))P(x)P(c_k|x) \\ =\sum _{x}P(x)\sum _{c_k}L(c_k,f(x))P(c_k|x) \end{gathered}$$
所以，最小化期望风险，就等价于最小化 ${\sum }_{y}L(y,f(x))P(y|x)$，也就是：
$$\begin{gathered} f(x)=\arg \underset{y}{\min }\sum _{k=1}^{K}L(c_k,y)P(c_k|x) \\ =\arg \underset{y}{\min }\sum _{k=1}^{K}P(y\ne c_k|x) \\ =\arg \underset{y}{\min }\sum _{k=1}^{K}1-P(y=c_k|x) \\ =\arg \underset{y}{\max }\sum _{k=1}^{K}P(y=c_k|x) \end{gathered}$$
也就是最大化后验概率。

二、参数估计

对于朴素贝叶斯方法，我们只需要去估计 $P(Y=c_k)$ 和 $P(X^{(j)}=x^{(j)}|Y=c_k)$ 即可进行分类，可以使用极大似然估计方法估计相应概率。

先验概率的极大似然估计为：
$$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N},k-1,2,...,K$$
也就是所有样本中属于第 $k$ 类的样本所占的比例。

设第 $j$ 个特征 $x^{(j)}$ 可能取值的集合为 {aj1,aj2,...,ajsj}\{a_{j1},a_{j2},...,a_{js_j}\}{aj1​,aj2​,...,ajsj​​}，条件概率的极大似然估计为：
$$\begin{gathered} P(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(X_i^{(j)}=a_{jl},y_i=c_k)}{{\sum }_{i=1}^{N}I(y=c_k)} \\ j=1,2,...,n;k=1,2,...,K \end{gathered}$$

这里是使用条件概率公式，并且用比例表示概率。

三、学习与分类算法

算法4.1

输入：训练数据 T={(xi,yi),i=1,2,...,N}T = \{(x_i,y_i),i=1,2,...,N\}T={(xi​,yi​),i=1,2,...,N}，其中 $x_i=(x_i^{(1)},...x_i^{(n)}{)}^T$。$x_i^{(j)}$ 是第 $i$ 个样本的第 $j$ 个特征，$x_i^{(j)}$ 的可能取值有 $s_j$ 个，即 xi(j)∈{aj1,aj2,...,ajsj}x_i^{(j)} \in \{a_{j1},a_{j2},...,a_{js_j}\}xi(j)​∈{aj1​,aj2​,...,ajsj​​} 。yi∈{c1,c2,...,cK}y_i \in \{c_1,c_2,...,c_K\}yi​∈{c1​,c2​,...,cK​}。实例 $x$。

输出：实例 $x$ 的分类。

(1) 计算先验概率及条件概率
$$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N},k=1,2,...,K$$

$$\begin{gathered} P(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(X_i^{(j)}=a_{jl},y_i=c_k)}{{\sum }_{i=1}^{N}I(y=c_k)} \\ j=1,2,...,n;l=1,2,...,S_j;k=1,2,...,K \end{gathered}$$

(2) 对于给定的实例 $x=(x^{(1)},x^{(2)},...,x^{(n)}{)}^T$，计算
$$P(Y=c_k)\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$$
(3) 确定实例 $x$ 的类
$$y=\arg \underset{c_k}{\max }P(Y=c_k)\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$$

四、例4.1

根据给定训练数据学习一个朴素贝叶斯分类器并确定 $x=(2,S{)}^T$ 的类标记 $y$

表4.1 训练数据

	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15
$X^{(1)}$	1	1	1	1	1	2	2	2	2	2	3	3	3	3	3
$X^{(2)}$	S	M	M	S	S	S	M	M	L	L	L	M	M	L	L
$Y$	-1	-1	1	1	-1	-1	-1	1	1	1	1	1	1	1	-1

(1)
$$P(Y=1)=\frac{9}{15};P(Y=-1)=\frac{6}{15}$$

$$\begin{gathered} P(X^{(1)}=1|Y=1)=\frac{2}{9};P(X^{(1)}=2|Y=1)=\frac{3}{9};P(X^{(1)}=3|Y=1)=\frac{4}{9} \\ P(X^{(1)}=1|Y=-1)=\frac{3}{6};P(X^{(1)}=2|Y=-1)=\frac{2}{6};P(X^{(1)}=3|Y=-1)=\frac{1}{6} \\ P(X^{(2)}=S|Y=1)=\frac{1}{9};P(X^{(2)}=M|Y=1)=\frac{4}{9};P(X^{(2)}=L|Y=1)=\frac{4}{9} \\ P(X^{(2)}=S|Y=-1)=\frac{3}{6};P(X^{(2)}=M|Y=-1)=\frac{2}{6};P(X^{(2)}=L|Y=-1)=\frac{1}{6} \end{gathered}$$

(2) 对于实例 $x=(2,S{)}^T$,
$$\begin{gathered} P(Y=1)\ast P(X^{(1)}=2|Y=1)\ast P(X^{(2)}=S|Y=1)=\frac{9}{15}\ast \frac{3}{9}\ast \frac{1}{9}=\frac{1}{45} \\ P(Y=-1)\ast P(X^{(1)}=2|Y=-1)\ast P(X^{(2)}=S|Y=-1)=\frac{6}{15}\ast \frac{2}{6}\ast \frac{3}{6}=\frac{1}{15} \end{gathered}$$
(3) 根据分类规则，实例 $x$ 的类标记为 $y=-1$

五、贝叶斯估计

使用极大似然估计可能会出现要估计的概率值为 0 的情况，这时会影响到后验概率的计算结果，使分类产生偏差。解决这一问题的方法就是使用贝叶斯估计，即在随机变量的各个取值上加上一个正数 $\lambda$，然后再计算概率：
$$P_{\lambda }(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)+\lambda }{N+K\lambda }$$

$$P_{\lambda }(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(X_i^{(j)}=a_{jl},y_i=c_k)+\lambda }{{\sum }_{i=1}^{N}I(y_i=c_k)+S_j\lambda }$$

常取 $\lambda =1$，此时成为拉普拉斯平滑 。