朴素贝叶斯法

朴素贝叶斯$(Naive$ $Bayes)$

朴素贝叶斯法的学习和分类

基本方法

​ 设输入空间 $\chi \subseteq R^n$为$n$维向量的集合，输出空间为类标记集合 Y = { c 1 , c 2 , c K } Y = \{c_1,c_2,c_K\} Y={c1​,c2​,cK​}。输入为特征向量$x\in \chi$ ，输出为类标记$y\in Y$。X和Y是定义在输入空间$\chi$和输出空间$Y$上的随机变量。$P($X,Y$)$，是X和Y的联合概率分布。训练数据集为：
T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋅ ⋅ ⋅ , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),···,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),⋅⋅⋅,(xN​,yN​)}
是由$P($X,Y$)$独立同分布产生。

贝叶斯公式

​ 设X和Y是定义在输入空间$\chi$和输出空间$Y$上的随机变量，则如下贝叶斯公式有：
$$P(Y=c_k|X=x)=\frac{P(Y=c_k)P(X=x|Y=c_k)}{P(X=x)}$$
​ X为$n$维向量，则上列式子可以写成：
$$P(Y=c_k|X=x)=\frac{P(Y=c_k)P(X^{(1)}=x^{(1)},X^{(1)}=x^{(1)},\cdot \cdot \cdot ,X^{(n)}=x^{(n)}|Y=c_k)}{P(X^{(1)}=x^{(1)},X^{(1)}=x^{(1)},\cdot \cdot \cdot ,X^{(n)}=x^{(n)})}$$
​ X^(j)表示X的第j分量

朴素贝叶斯基本假设

​ 假定输入的$n$维特征向量每个维度上的取值相互独立，也即：
$$P(X=x)=P(X^{(1)}=x^{(1)},X^{(1)}=x^{(1)},\cdot \cdot \cdot ,X^{(n)}=x^{(n)})=\prod _{j=1}^{n}P(X^{(j)}=x^{(j)})$$
​ 所以上述贝叶斯公式可以改写为:
$$P(Y=c_k|X=x)=\frac{P(Y=c_k){\prod }_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)}{{\prod }_{j=1}^{n}P(X^{(j)}=x^{(j)})}$$
​ 习惯上，我们把其中的$P(Y=c_k)$称为先验概率，将$P(Y=c_k|X=x)$称之为后验概率。

朴素贝叶斯分类器

​ 可以根据上述的公式
$$P(Y=c_k|X=x)=\frac{P(Y=c_k){\prod }_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)}{{\prod }_{j=1}^{n}P(X^{(j)}=x^{(j)})}$$
​ 来推算给定一个数据$X=x$，他属于某个类$Y=c_k$的概率是$P(Y=c_k|X=x)$，这个概率可以根据训练集训练出来的模型给出。

损失函数最小

​ 上面谈到对于给定的数据$X=x$，要判断它属于的类别$Y=c_k$，我们可以算出属于每个类别的概率，再选出概率最大的那个类别，我们有理由认为这个概率最大的类别就是它所属的类别**(极大似然法)，而且对于给定的训练集分母是一个常数，只需要比较分子大小即可。接下来用损失函数最小**来证明这个结论：

​ 假定选定0-1损失函数：
$$L(Y,f(X))=\{\begin{array}{rlr}& 1,& Y\ne f(X)\\ & 0,& Y=f(X)\end{array}$$
​ 期望风险函数为：
$$R_{exp}(f)=E[L(Y,f(X))]$$
​ X和Y有联合分布$P($X,Y$)$，所以根据取条件期望：
$$E[L(Y,f(X))]=E_{\chi }\sum _{k=1}^{K}L(c_K,y)P(c_k|X)$$

​ 为了使得期望风险最小化，只需要对$X=x$逐个极小化，由此可以得到：
$$\begin{array}{rl}f(x)& =argmi{n}_{y\in Y}\sum _{k=1}^{K}L(c_K,y)P(c_k|X=x)\\ & =argmi{n}_{y\in Y}\sum _{k=1}^{K}P(y\ne c_k|X=x)\\ & =argma{x}_{y\in Y}\sum _{k=1}^{K}P(y=c_k|X=x)\end{array}$$
​ 所以损失函数极小化最后等价于后验概率最大化。

朴素贝叶斯法的参数估计

训练集极大似然估计

​ 知道了应该利用训练集中的某些概率来对X进行分类，接下来看一下怎么利用训练集：

​ 先验概率：
$$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N}$$
​ 也就是训练集中$Y=c_k$出现的频率(视作概率，可以通过极大似然估计得出)

​ 条件概率：
$$P(X^{(j)}=x^{(j)}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=x^{(j)},y_i=c_k)}{{\sum }_{i=1}^{N}I(y_i=c_k)}$$
​ 也就是$y_i=c_k$中出现$x_i^{(j)}=x^{(j)}$的频率(视为概率，可以通过极大似然估计得出)

学习分类算法

​ 输入：训练数据 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋅ ⋅ ⋅ , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),···,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),⋅⋅⋅,(xN​,yN​)}，其中$x_i=(x_i^{(1)},x_i^{(2)},\cdot \cdot \cdot ,x_i^{(n)})$为$n$维向量， x i ( j ) ∈ { a j 1 , a j 2 . ⋅ ⋅ ⋅ , a j L } x_i^{(j)}\in \{a_{j1},a_{j2}.···,a_{jL}\} xi(j)​∈{aj1​,aj2​.⋅⋅⋅,ajL​}(第$j$个维度有$L$个取值)， y i ∈ { c 1 , c 2 , ⋅ ⋅ ⋅ , c K } y_i\in \{c_1,c_2,···,c_K\} yi​∈{c1​,c2​,⋅⋅⋅,cK​}；实例$x$。

​ 输出：实例$x$所属的类别$y$

1. 计算先验概率以及条件概率：
   $$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N}$$

   $$P(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{{\sum }_{i=1}^{N}I(y_i=c_k)}$$

2. 对于给定的实例 x = { x ( 1 ) , x ( 2 ) , ⋅ ⋅ ⋅ , x ( n ) } x=\{x^{(1)},x^{(2)},···,x^{(n)}\} x={x(1),x(2),⋅⋅⋅,x(n)}，计算：
   $$P(Y=c_k)\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$$

​ 3.确定实例$x$的类别：
$$y={argmax}_{c_k}P(Y=c_k)\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$$
eg: 给定一个表格确定$x=(2,S)$所属的类，表中$X^{(1)},X^{(2)}$对应的取值集合为 A 1 = { 1 , 2 , 3 , 4 } , A 2 = { S , M , L } A_1 = \{1,2,3,4\},A_2 = \{S,M,L\} A1​={1,2,3,4},A2​={S,M,L}， Y ∈ { − 1 , 1 } Y\in\{-1,1\} Y∈{−1,1}。

	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15
$X^{(1)}$	1	1	1	1	1	2	2	2	2	2	3	3	3	3	3
$X^{(2)}$	S	M	M	S	S	S	M	M	L	L	L	M	M	L	L
$Y$	-1	-1	1	1	1	-1	-1	-1	1	1	1	1	1	1	-1

根据上列的算法可以得出：

$P(Y=1)=\frac{9}{15},P(Y=-1)=\frac{6}{15}$

$P(X^{(1)}=1|Y=1)=\frac{2}{9},P(X^{(1)}=2|Y=1)=\frac{3}{9},P(X^{(1)}=3|Y=1)=\frac{4}{9},P(X^{(1)}=4|Y=1)=0$

$P(X^{(2)}=S|Y=1)=\frac{1}{9},P(X^{(2)}=M|Y=1)=\frac{4}{9},P(X^{(2)}=L|Y=1)=\frac{4}{9}$

$P(X^{(1)}=1|Y=-1)=\frac{3}{6},P(X^{(1)}=2|Y=-1)=\frac{2}{6},P(X^{(1)}=3|Y=-1)=\frac{1}{6},P(X^{(1)}=4|Y=-1)=0$

$P(X^{(2)}=S|Y=-1)=\frac{3}{6},P(X^{(2)}=M|Y=-1)=\frac{2}{6},P(X^{(2)}=L|Y=-1)=\frac{1}{6}$

对于给定的$x=(2,S)$，

​ $P(Y=1|x)=\frac{9}{15}\frac{3}{9}\frac{1}{9}=\frac{1}{45}$

​ $P(Y=-1|x)=\frac{6}{15}\frac{2}{6}\frac{3}{6}=\frac{1}{15}$

所以$x$属于类别$y=-1$的可能性更高，输出-1

存在的问题

​ 假如给定一个实例 x = { 4 , S } x = \{4,S\} x={4,S}，那$x$怎么分类呢？可以看到表中没有$X^{(1)}=4$ 的样本，所以可能会因为训练集不够多引起的概率为0的情况，这个会影响到后验概率从而影响分类，为了避免这个问题我们一般采用贝叶斯估计。
$$P_{\lambda }(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^N[I(x_i^{(j)}=a_{jl},y_i=c_k)+\lambda ]}{{\sum }_{i=1}^{N}I(y_i=c_k)+S_j\lambda }(\lambda \ge 0)$$
​ 相当于在随机变量各个取值的频数上加一个正数$\lambda$，为了每个维度和仍然为1，取$S_j$为每个维度取值个数，则整体相对于极大似然估计，分母增加了$N{S}_j\lambda$，而分子对维度$j$，对某一个$l$，分子增加$N\lambda$，而一共有$L=S_j$个取值，所以分子也增加$N{S}_j\lambda$，总体和仍然为0，只不过避免了条件概率以及先验概率出现为0的情况。

​ 特别的当$\lambda =1$时，这时称之为拉普拉斯平滑，这也是我们最常用到的$\lambda$的取值。

​ 类似的，为了保证先验概率和为1，对先验概率也进行处理：
$$P_{\lambda }(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)+\lambda }{N+K\lambda }$$
​ 其中，$K$为$Y$取值个数。

再来一次

​ 根据上述问题的改进，用贝叶斯估计我们可以得到上述训练集的先验概率和条件概率：

​ $P(Y=1)=\frac{10}{17},P(Y=-1)=\frac{7}{17}$

$P(X^{(1)}=1|Y=1)=\frac{3}{13},P(X^{(1)}=2|Y=1)=\frac{4}{13},P(X^{(1)}=3|Y=1)=\frac{5}{13},P(X^{(1)}=4|Y=1)=\frac{1}{13}$

​ $P(X^{(2)}=S|Y=1)=\frac{2}{12},P(X^{(2)}=M|Y=1)=\frac{5}{12},P(X^{(2)}=L|Y=1)=\frac{5}{12}$

​ $P(X^{(1)}=1|Y=-1)=\frac{4}{10},P(X^{(1)}=2|Y=-1)=\frac{3}{10},P(X^{(1)}=3|Y=-1)=\frac{2}{10},P(X^{(1)}=4|Y=-1)=\frac{1}{10}$

$P(X^{(2)}=S|Y=-1)=\frac{4}{9},P(X^{(2)}=M|Y=-1)=\frac{3}{9},P(X^{(2)}=L|Y=-1)=\frac{2}{9}$

​ 对于给定的实例$x=(2,S)$:

​ $P(Y=1|x)=\frac{10}{17}\frac{4}{13}\frac{2}{12}=\frac{20}{663}$

​ $P(Y=-1|x)=\frac{7}{17}\frac{3}{10}\frac{4}{9}=\frac{14}{238}$

​ 所以$x$还是属于$y=-1$的类别。