第四章 朴素贝叶斯法

参考资料： 李航《统计学习方法》

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法

对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布$p(x,y)$；然后基于此模型，对给定的输入$x$,利用贝叶斯定理求出后验概率$p(y|x)$最大的输出$y$
利用训练数据学习$p(x|y)$和$p(y)$的估计，得到联合概率分布：$$p(x,y)=p(y)p(x|y)$$
概率估计可以使极大似然估计或贝叶斯估计

基本假设

朴素贝叶斯法的基本假设是条件独立性，
$$\begin{array}{rl}P(X=x|Y=c_k)& =P(X^{(1)}=x^{(1)},X^{(2)}=x^{(2)},...,X^{(n)}=x^{(n)}|Y=c_k)\\ & =\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)\end{array}$$
这是一个较强的假设，由于这一假设，模型包含的条件概率的数量大为减少，朴素贝叶斯法的学习与预测大为简化，高效易于实现，然而分类的性能不一定很高

$$P(Y|X)=\frac{P(X,Y)}{P(X)}=\frac{P(Y)P(X|Y)}{\sum _{Y}P(Y)P(X|Y)}$$
将输入$x$分到后验概率最大的类$y$
$$y=arg\max {}_{c_k}P(Y=c_k)\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$$
后验概率最大等价于0-1损失函数时的期望风险最小化
朴素贝叶斯法实际上学习到的生成数据的机制，所以属于生成模型
条件独立假设等于说用于分类的特征在类确定的条件下都是独立的，这一假设使朴素贝叶斯法变得简单，但有时会牺牲一定的分类准确率。

极大似然估计

先验概率$P(Y=c_k)$的极大似然估计$$P(Y=c_k)=\frac{\sum _{i=1}^{N}I(y_i=c_k)}{N},k=1,2,...,K$$
设第$j$个特征$x^{(j)}$可能取值的集合为 { a j 1 , a j 2 , . . . , a j S j } \{a_{j1},a_{j2},...,a_{jS_j}\} {aj1​,aj2​,...,ajSj​​}，
条件概率$P(X^{(j)}=a_{jl}|Y=c_k)$的极大似然估计$$P(X^{(j)}=a_{jl}|Y=c_k)=\frac{\sum _{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{\sum _{i=1}^{N}I(y_i=c_k)}$$$$j=1,2,...,n;l=1,2,...,S_j;k=1,2,...,K$$
$x_i^{(j)}$是第$i$个样本的第$j$个特征；$a_{jl}$是第$j$个特征可能取的第$l$个值;$I$为指示函数

贝叶斯估计

朴素贝叶斯法与贝叶斯估计是不同的概念

用极大似然估计可能会出现所要估计的概率值为0的情况，采用贝叶斯估计来解决这一问题
条件概率的贝叶斯估计是$$P_{\lambda }(X^{(j)}=a_{jl}|Y=c_k)=\frac{\sum _{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)+\lambda }{\sum _{i=1}^{N}I(y_i=c_k)+S_i\lambda }$$
式中$\lambda >0$,常取$\lambda =1$，这时称为拉普拉斯平滑,显然有
$$P_{\lambda }(X^{(j)}=a_{jl}|Y=c_k)>0$$
$$\sum _{l=1}^{S_j}{P}_{\lambda }(X^{(j)}=a_{jl}|Y=c_k)=1$$
$$l=1,2,...,S_j,k=1,2,...,K$$
表明贝叶斯估计是一种概率分布。同理，先验概率的贝叶斯估计是$$P_{\lambda }(Y=c_k)=\frac{\sum _{i=1}^{N}I(y_i=c_k)+\lambda }{N+K\lambda },k=1,2,...,K$$

朴素贝叶斯算法

输入：训练数据 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)},其中$x_i=(x_i^{(1)},x_i^{(2)},...,x_i^{(N)})$,$x_i^{(j)}$是第$i$个样本的第$j$个特征， x i ( j ) ∈ { a j 1 , a j 2 , . . . , a j S j } x_{i}^{(j)}\in \{a_{j1},a_{j2},...,a_{jS_{j}}\} xi(j)​∈{aj1​,aj2​,...,ajSj​​},$a_{jl}$是第$j$个特征可能取的第$l$个值， j = 1 , 2 , . . . , n , l = 1 , 2 , . . . , S j , y i ∈ { c 1 , c 2 , . . . , c K } j=1,2,...,n,l=1,2,...,S_{j},y_{i}\in\{c_{1},c_2,...,c_K\} j=1,2,...,n,l=1,2,...,Sj​,yi​∈{c1​,c2​,...,cK​};实例$x$;

输出：实例$x$的分类

（1）计算先验概率及条件概率
$$P(Y=c_k)=\frac{\sum _{i=1}^{N}I(y_i=c_k)}{N},k=1,2,...,K$$
$$P(X^{(j)}=a_{jl}|Y=c_k)=\frac{\sum _{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{\sum _{i=1}^{N}I(y_i=c_k)}$$
$$j=1,2,...,n;l=1,2,...,S_j;k=1,2,...,K$$
（2）对于给定的实例$x=(x^{(1)},x^{(2)},...,x^{(N)})$,计算$$P(Y=c_k)\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k),k=1,2,...,K$$
（3）确定实例$x$的类$$y=arg\max {}_{c_k}P(Y=c_k)\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$$

习题4.1

习题：用极大似然估计法推出朴素贝叶斯中的概率估计公式
$$P(Y=c_k)=\frac{\sum _{i=1}^{N}I(y_i=c_k)}{N},k=1,2,...,K$$
$$P(X^{(j)}=a_{jl}|Y=c_k)=\frac{\sum _{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{\sum _{i=1}^{N}I(y_i=c_k)}$$

解答：把$P(Y=c_k)，P(X^{(j)}=a_{jl}|Y=c_k)$当做参数, $\sum _{k=1}^{K}P(y=c_k)=1$作为约束条件来求解参数值

由假设可知：$P(y)=\prod _{k=1}^{K}P(y=c_k{)}^{I(y=c_k)}$ ，
$P(x|y=c_k)=\prod _{j=1}^{n}P(x^{(j)}|y=c_k)=\prod _{j=1}^n\prod _{l=1}^{S_j}P(x^{(j)}=a_{jl}|y=c_k{)}^{I(x^{(j)}=a_{jl},y=c_k)}$
令 φ = { P ( Y = c k ) ， P ( X ( j ) = a j l ∣ Y = c k ) } \varphi = \{P(Y=c_{k})，P(X^{(j)}=a_{jl}|Y=c_{k})\} φ={P(Y=ck​)，P(X(j)=ajl​∣Y=ck​)},对数似然函数为：
$$\begin{array}{rl}L(\phi )& =log\prod _{i=1}^{N}P(x_i,y_i;\phi )=log\prod _{i=1}^{N}P(x_i|y_i;\phi )P(y_i;\phi )\\ & =log\prod _{i=1}^N\prod _{j=1}^{n}P(x_i^{(j)}|y_i;\phi )P(y_i;\phi )\\ & =\sum _{i=1}^N(P(y_i;\phi )+\sum _{j=1}^{n}P(x_i^{(j)}|y_i;\phi ))\\ & =\sum _{i=1}^N[\sum _{k=1}^{K}logP(y=c_k{)}^{I(y_i=c_k)}+\sum _{j=1}^n\sum _{l=1}^{S_j}\sum _{k=1}^{K}logP(x_i^{(j)}=a_{jl}|y_i=c_k{)}^{I(x_i^{(j)}=a_{jl},y_i=c_k)}]\\ & =\sum _{i=1}^N[\sum _{k=1}^{K}I(y_i=c_k)logP(y=c_k)+\sum _{j=1}^n\sum _{l=1}^{S_j}\sum _{k=1}^{K}I(x_i^{(j)}=a_{jl},y_i=c_k)logP(x_i^{(j)}=a_{jl}|y_i=c_k)]\end{array}$$
关于第一个参数$P(Y=c_k)$求导：$\frac{\partial L(\phi )}{\partial P(y=c_k)}=\frac{\partial }{\partial P(y=c_k)}\sum _{i=1}^N\sum _{k=1}^{K}I(y_i=c_k)logP(y=c_k)$
由约束条件可知：$P(y=c_K)=1-\sum _{k=1}^{K-1}P(y=c_k)$
$$\begin{gathered} \Rightarrow \frac{\partial L(\phi )}{\partial P(y=c_k)}=\frac{\partial }{\partial P(y=c_k)}\sum _{i=1}^N[\sum _{k=1}^{K-1}I(y_i=c_k)logP(y=c_k)+I(y_i=c_K)logP(y=c_K)] \\ =\frac{\partial }{\partial P(y=c_k)}\sum _{i=1}^N[\sum _{k=1}^{K-1}I(y_i=c_k)logP(y=c_k)+I(y_i=c_K)log(1-\sum _{k=1}^{K-1}P(y=c_k))] \end{gathered}$$
先来求$P(y=c_1)$的估计值：
$$\begin{array}{rl}0& =\frac{\partial }{\partial P(y=c_1)}\sum _{i=1}^N[\sum _{k=1}^{K-1}I(y_i=c_k)logP(y=c_k)+I(y_i=c_K)log(1-\sum _{k=1}^{K-1}P(y=c_k))]\\ & =\sum _{i=1}^N[\frac{I(y_i=c_1)}{P(y=c_1)}-\frac{I(y_i=c_K)}{1-\sum _{a=1}^{K-1}P(y=c_a)}]\\ & =\sum _{i=1}^N[\frac{I(y_i=c_1)}{P(y=c_1)}-\frac{I(y_i=c_K)}{P(y=c_K)}]\end{array}$$

$P(y=c_K)$在此为由$P(y=c_1)，P(y=c_2),...,P(y=c_{K-1})$决定的一个值
$$\begin{array}{r}\sum _{i=1}^N[\frac{I(y_i=c_1)}{P(y=c_1)}-\frac{I(y_i=c_K)}{P(y=c_K)}]=0\end{array}$$$$\begin{array}{r}\Rightarrow P(y=c_K)\sum _{i=1}^{N}I(y_i=c_1)-P(y=c_1)\sum _{i=1}^{N}I(y_i=c_K)=0\end{array}$$$$\begin{array}{rl}P(y=c_1)& =\frac{\sum _{i=1}^{N}I(y_i=c_1)}{\sum _{i=1}^{N}I(y_i=c_K)}P(y=c_K)\\ P(y=c_2)& =\frac{\sum _{i=1}^{N}I(y_i=c_2)}{\sum _{i=1}^{N}I(y_i=c_K)}P(y=c_K)\\ & ......\\ P(y=c_K)& =\frac{\sum _{i=1}^{N}I(y_i=c_K)}{\sum _{i=1}^{N}I(y_i=c_K)}P(y=c_K)\end{array}$$

累加上式$P(y=c_1),P(y=c_2),...,P(y=c_K)$得到：
$$P(y=c_1)+P(y=c_2)+...+P(y=c_K)=\frac{N}{\sum _{i=1}^{N}I(y_i=c_K)}P(y=c_K)$$
$$\Rightarrow 1=\frac{N}{\sum _{i=1}^{N}I(y_i=c_K)}P(y=c_K)$$
$$\Rightarrow P(y=c_K)=\frac{\sum _{i=1}^{N}I(y_i=c_K)}{N}$$
同理可得：$$P(y=c_k)=\frac{\sum _{i=1}^{N}I(y_i=c_k)}{N},k=1,2,..,K$$
同理对$P(X^{(j)}=a_{jl}|Y=c_k)$求导，可得$$P(X^{(j)}=a_{jl}|Y=c_k)=\frac{\sum _{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{\sum _{i=1}^{N}I(y_i=c_k)}$$