第四章 朴素贝叶斯法——学习笔记

（一）朴素贝叶斯法——极大似然估计

 算法（朴素贝叶斯算法）
 输入：训练数据$T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$，其中$x_i=(x_i^{(1)},x_i^{(2)},...,x_i^{(n)}{)}^T$是第$i$个样本的第$j$个特征， x i ( j ) ∈ { a j 1 , a j 2 , . . . , a j S j } x^{(j)}_i\in\{a_{j1},a_{j2},...,a_{jS_j}\} xi(j)​∈{aj1​,aj2​,...,ajSj​​}，$a_{jl}$是第$j$个特征可能取的第$l$个值，$j=1,2,...,n$，$l=1,2,...,S_j$， y i ∈ { c 1 , c 2 , . . . , c K } y_i\in\{c_1,c_2,...,c_K\} yi​∈{c1​,c2​,...,cK​}；实例$x$；
 输出：实例$x$的分类。
 （1）计算先验概率及条件概率$$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N}，k=1,2,...,K$$
$$P(X^{(j)}=a_{ij}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x^{(j)}=a_{jl},y_i=c_k)}{{\sum }_{i=1}^{N}I(y_i=c_k)}$$
 （2）对于给定的实例$x_i=(x_i^{(1)},x_i^{(2)},...,x_i^{(n)}{)}^T$，计算$$P(Y=c_k)\underset{j=1}{\prod ^n}P(X^{(j)}=x^{(j)}|Y=c_k)$$
 （3）确定实例的类$$y=arg\underset{c_k}{\max }P(y=c_k)\underset{j=1}{\prod ^n}P(X^{(j)}=x^{(j)}|Y=c_k)$$
 例：通过下表学习朴素贝叶斯分类器并确定$x=(2,S{)}^T$的类标记$y$。

	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15
$X^{(1)}$	1	1	1	1	1	2	2	2	2	2	3	3	3	3	3
$X^{(2)}$	$S$	$M$	$M$	$S$	$S$	$S$	$M$	$M$	$L$	$L$	$L$	$M$	$M$	$L$	$L$
$Y$	-1	-1	1	1	-1	-1	-1	1	1	1	1	1	1	1	-1

 解：
$$P(Y=1)=\frac{9}{15}，P(Y=-1)=\frac{6}{15}$$$$P(X^{(1)}=1|Y=1)=\frac{2}{9}，P(X^{(1)}=2|Y=1)=\frac{3}{9}，P(X^{(1)}=3|Y=1)=\frac{4}{9}$$$$P(X^{(2)}=1|Y=1)=\frac{1}{9}，P(X^{(2)}=2|Y=1)=\frac{4}{9}，P(X^{(2)}=3|Y=1)=\frac{4}{9}$$$$P(X^{(1)}=1|Y=-1)=\frac{3}{6}，P(X^{(1)}=2|Y=-1)=\frac{2}{6}，P(X^{(1)}=3|Y=-1)=\frac{1}{6}$$$$P(X^{(2)}=1|Y=-1)=\frac{3}{6}，P(X^{(2)}=2|Y=-1)=\frac{2}{6}，P(X^{(2)}=3|Y=-1)=\frac{1}{6}$$
 对于给定的$x=(2,S{)}^T$，计算：
$$P(Y=1)P(X^{(1)}=2|Y=1)P(X^{(2)}=S|Y=1)=\frac{9}{15}\cdot \frac{3}{9}\cdot \frac{1}{9}=\frac{1}{45}$$$$P(Y=-1)P(X^{(1)}=2|Y=-1)P(X^{(2)}=S|Y=-1)=\frac{6}{15}\cdot \frac{2}{6}\cdot \frac{3}{6}=\frac{1}{15}$$
 因为$P(Y=-1)P(X^{(1)}=2|Y=-1)P(X^{(2)}=S|Y=-1)$最大，所以$y=-1$。

（二）朴素贝叶斯法——贝叶斯估计

 为防止估计值为0，引入正数$\lambda$
 例：同上，采用拉普拉斯平滑（Laplacian smoothing）取$\lambda =1$估计概率
 解：
$$P(Y=1)=\frac{10}{17}，P(Y=-1)=\frac{7}{17}$$
$$P(X^{(1)}=1|Y=1)=\frac{3}{12}，P(X^{(1)}=2|Y=1)=\frac{4}{12}，P(X^{(1)}=3|Y=1)=\frac{5}{12}$$$$P(X^{(2)}=1|Y=1)=\frac{2}{12}，P(X^{(2)}=2|Y=1)=\frac{5}{12}，P(X^{(2)}=3|Y=1)=\frac{5}{12}$$$$P(X^{(1)}=1|Y=-1)=\frac{4}{9}，P(X^{(1)}=2|Y=-1)=\frac{3}{9}，P(X^{(1)}=3|Y=-1)=\frac{2}{9}$$$$P(X^{(2)}=1|Y=-1)=\frac{4}{9}，P(X^{(2)}=2|Y=-1)=\frac{3}{9}，P(X^{(2)}=3|Y=-1)=\frac{2}{9}$$
 对于给定的$x=(2,S{)}^T$，计算：
$$P(Y=1)P(X^{(1)}=2|Y=1)P(X^{(2)}=S|Y=1)=\frac{10}{17}\cdot \frac{4}{12}\cdot \frac{2}{12}=0.0327$$$$P(Y=-1)P(X^{(1)}=2|Y=-1)P(X^{(2)}=S|Y=-1)=\frac{7}{17}\cdot \frac{3}{9}\cdot \frac{4}{9}=0.0610$$
 因为$P(Y=-1)P(X^{(1)}=2|Y=-1)P(X^{(2)}=S|Y=-1)$最大，所以$y=-1$。