【机器学习】朴素贝叶斯算法

朴素贝叶斯简介

     朴素贝叶斯算法是基于贝叶斯定理与特征条件独立性假设的分类方法。对于给定训练样本集，首先假设全部的特征相互独立，即每个特征对分类结果的影响都是独立的。然后学习输入/输出的联合概率分布，最后基于得到的模型，对于给定输入$x$，利用贝叶斯定理求出后验概率最大的输出$y$。由于其简单和高效，朴素贝叶斯算法是一种常用的分类方法。
 

算法原理

     设输入空间$\chi \subseteq {\mathbf{R}}^n$为$n$维向量的集合，输出空间为类别标记集合$\gamma =c_1,c_2,\dots ,c_K$。其中输入为特征向量$x\in \chi$，输出为类别标记$y\in \gamma$。$X$是定义在输入空间$\chi$上的随机向量，$Y$是定义在输出空间$\gamma$上的随机变量。$P(X,Y)$是$X$和$Y$的联合概率分布。
     上面的表述可以得知训练样本集
$$T=(x_1,y_1),(x_2,y_2),\dots ,(x_N,y_N)$$由$P(X,Y)$独立同分布产生。
     朴素贝叶斯算法通过训练样本集学习联合概率分布$P(X,Y)$。那么其需要学先验概率分布以及条件概率分布。
     先验概率分布
$$P(Y=c_k),k=1,2,\dots ,K$$     条件概率分布
$$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},\dots ,X^{(n)}=x^{(n)}|Y=c_k),k=1,2,\dots ,K$$     由于朴素贝叶斯假设特征相互独立，因此条件概率分布为
$$\begin{array}{rl}P(X=x|Y=c_k)& =P(X^{(1)}=x^{(1)},\dots ,X^{(n)}=x^{(n)}|Y=c_k)\\ & =P(X^{(1)}=x^{(1)}|Y=c_k)\dots P(X^{(n)}=x^{(n)}|Y=c_k)\\ & =\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)\end{array}$$     对于假设特征相互独立，也就是用于分类的特征在类别确定的条件下都是条件独立的，这个假设尽管使得朴素贝叶斯变得简单，但是这个假设会牺牲一定的分类准确率。
     朴素贝叶斯分类时，对于给定的输入$x$，通过学习到的模型计算后验概率分布$P(Y=c_k|X=x)$，将后验概率最大的类作为$x$的类别输出。后验概率可以根据贝叶斯定理进行计算，其中贝叶斯定理为：
$$P(Y|X)=\frac{P(X|Y)P(Y)}{P(X)}$$     根据贝叶斯定理，可以计算后验概率为：
$$\begin{array}{rl}P(Y=c_k|X=x)& =\frac{P(X=x|Y=c_k)P(Y=c_k)}{P(X=x)}\\ & =\frac{P(X=x|Y=c_k)P(Y=c_k)}{{\sum }_{k}P(X=x|Y=c_k)P(Y=c_k)}\\ & =\frac{P(Y=c_k){\prod }_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)}{{\sum }_{k}P(Y=c_k){\prod }_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)}\end{array}$$     因为朴素贝叶斯将后验概率最大的类作为$x$的类别输出，因此朴素贝叶斯分类器可以表示为：
$$y=f(x)={\mathrm{argmax}}_{c_k}\frac{P(Y=c_k){\prod }_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)}{{\sum }_{k}P(Y=c_k){\prod }_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)}$$由于上式中分母对于所有$c_k$都是相同的，所以有
$$y=f(x)={\mathrm{argmax}}_{c_k}P(Y=c_k)\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$$
     朴素贝叶斯算法将实例分到后验概率最大的类别中，这等价于最小化期望风险，接下来本文将具体展开。
     基于$K$种可能的类别标记以及后验概率，可以获得将样本$x$分类为$c_i$的期望损失，即在样本$x$上的条件期望
$$R(c_i|X)=\sum _{k=1}^K[L(c_k,f(X))]P(c_k|X)$$其中$L(c_k,f(X))$表示分类错误的损失，这里假设选择0-1损失函数：
$$L(Y,f(X))=\{\begin{array}{ll}1,& \text{if }Y\ne f(X)\\ 0,& \text{if }Y=f(X)\end{array}$$其中$f(X)$是分类决策函数。
     为了使期望风险最小化，只需要对$X=x$逐个极小化，因此可以得到：
$$\begin{array}{rl}f(x)& ={\mathrm{argmin}}_{y\in \gamma }\sum _{k=1}^{K}L(c_k,y)P(c_k|X=x)\\ & ={\mathrm{argmin}}_{y\in \gamma }\sum _{k=1}^{K}P(y\ne c_k|X=x)\\ & ={\mathrm{argmin}}_{y\in \gamma }(1-P(y=c_k|X=x))\\ & ={\mathrm{argmax}}_{y\in \gamma }P(y=c_k|X=x)\end{array}$$这样子相当于根据期望风险最小化得到了后验概率最大化，即
$$f(x)={\mathrm{argmax}}_{c_k}P(c_k|x)$$
 

举例说明

     已知训练数据如下表所示，表中$X_1$和$X_2$为特征，$Y$为类别标记，根据以下数据训练一个朴素贝叶斯分类器并确定$x=(2,S{)}^T$的类别标记$y$。

变量	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15
$X_1$	1	1	1	1	1	2	2	2	2	2	3	3	3	3	3
$X_1$	S	M	M	S	S	S	M	M	L	L	L	M	M	L	L
$Y$	-1	-1	1	1	-1	-1	-1	1	1	1	1	1	1	1	-1

根据朴素贝叶斯算法，可以求得：
$$\begin{gathered} P(Y=1)=\frac{9}{15},P(Y=-1)=\frac{6}{15} \\ P(X_1=1|Y=1)=\frac{2}{9},P(X_1=2|Y=1)=\frac{3}{9},P(X_1=3|Y=1)=\frac{4}{9} \\ P(X_2=S|Y=1)=\frac{1}{9},P(X_2=M|Y=1)=\frac{4}{9},P(X_2=L|Y=1)=\frac{4}{9} \\ ---------------------------------------------------- \\ P(X_1=1|Y=-1)=\frac{3}{6},P(X_1=2|Y=-1)=\frac{2}{6},P(X_1=3|Y=-1)=\frac{1}{6} \\ P(X_2=S|Y=-1)=\frac{3}{6},P(X_2=M|Y=-1)=\frac{2}{6},P(X_2=L|Y=-1)=\frac{1}{6} \\ ---------------------------------------------------- \end{gathered}$$对于给定的$x=(2,S{)}^T$计算：
$$\begin{gathered} P(Y=1)P(X_1=2|Y=1)P(X_2=S|Y=1)=\frac{9}{15}\cdot \frac{3}{9}\cdot \frac{1}{9}=\frac{1}{45} \\ P(Y=-1)P(X_1=2|Y=-1)P(X_2=S|Y=-1)=\frac{6}{15}\cdot \frac{2}{6}\cdot \frac{3}{6}=\frac{1}{15} \end{gathered}$$因为$\frac{1}{15}>\frac{1}{45}$，因此给定的$x=(2,S{)}^T$的类别为$y=-1$。

 

算法小结

优点：
1.有稳定的分类效率
2.对缺失数据不太敏感，算法简单
3.对小规模的数据表现很好，能处理多分类问题

缺点：
1.朴素贝叶斯假设特征之间相互独立，但实际上往往不能满足该假设
2.需要知道先验概率，也正是因为先验概率容易导致预测效果不佳
 
 
如有错误，欢迎批评指出，谢谢！