统计学习方法（二）--朴素贝叶斯法（Naive Bayes）理解

朴素贝叶斯概述

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法，属于生成模型。

对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。

学习与分类

基本方法

朴素贝叶斯法通过训练数据集学习联合概率分布$P(X,Y)$。具体地，学习以下先验概率分布及条件概率分布。先验概率分布：
$$P(Y=c_k),k=1,2,\cdots ,K$$
条件概率分布：
$$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},\cdots ,X^{(n)}=x^{(n)}|Y=c_k),k=1,2,\cdots ,K$$
于是学习到联合概率分布$P(X,Y)$。

条件概率分布$P(X=x|Y=c_k)$有指数级数量的参数，其估计实际上是不可行的。事实上，假设$x^j$可取值有$S_j$个，$j=1,2,\cdots ,n$，$Y$可取值有$K$个，那么参数个数为$K\prod _{j=1}^n{S}_j$。

• 特征条件独立假设
  朴素贝叶斯法对条件概率分布做了条件独立性的假设：
  $$\begin{array}{rl}P(X=x|Y=c_k)& =P(X^{(1)}=x^{(1)},\cdots ,X^{(n)}=x^{(n)}|Y=c_k)\\ & =\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)\end{array}$$
  条件独立假设等于用于分类的特征在类确定的条件下都是条件独立的。
  这一假设使模型包含的条件概率的数量大为减少，使得朴素贝叶斯法变得简单高效，且易于实现，但有时会牺牲一定的分类准确率。

朴素贝叶斯法分类时，后验概率计算根据贝叶斯定理进行：
$$P(Y=c_k|X=x)=\frac{P(X=x|Y=c_k)P(Y=c_k)}{{\sum }_{k}P(X=x|Y=c_k)P(Y=c_k)}$$
根据条件独立假设，朴素贝叶斯法分类的基本公式可得：
$$P(Y=c_k|X=x)=\frac{P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)}{{\sum }_{k}P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)},k=1,2,\cdots ,K$$
朴素贝叶斯分类器可表示为：
$$y=f(x)=arg\underset{c_k}{\max }\frac{P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)}{{\sum }_{k}P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)},k=1,2,\cdots ,K$$
分母对所有$c_k$都是相同的，所以有：
$$y=arg\underset{c_k}{\max }P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)$$
可以注意到，朴素贝叶斯法会将后验概率最大的类作为输入x的类输出。

后验概率最大化的含义

朴素贝叶斯法将实例分到后验概率最大的类中，这个过程等价于期望风险最小化。

假设选择0-1损失函数：
$$L(Y,f(X))=\{\begin{array}{l}1,Y\ne f(X)\\ 0,Y=f(X)\end{array}$$
其中$f(X)$是分类决策函数。这时，期望风险函数为
$$R_{exp}(f)=E[L(Y,f(X))]$$
期望是对联合分布$P(X,Y)$取的。由此取条件期望：
$$R_{exp}(f)=E_x\sum _{k=1}^K[L(c_k,f(X))]P(c_k|X)$$
为了使期望风险最小化，只需对$X=x$逐个极小化，由此得到：
$$\begin{array}{rl}f(x)& =\underset{y\in Y}{\mathrm{argmin}}\sum _{k=1}^{K}L(c_k,y)P(c_k|X=x)\\ & =\underset{y\in Y}{\mathrm{argmin}}\sum _{k=1}^{K}P(y\ne c_k|X=x)\\ & =\underset{y\in Y}{\mathrm{argmin}}(1-P(y=c_k)|X=x)\\ & =\underset{y\in Y}{\mathrm{argmax}}P(y=c_k|X=x)\end{array}$$
这样一来，根据期望风险最小化准则就得到了后验概率最大化准则：
$$f(x)=\underset{c_k}{\mathrm{argmax}}P(c_k|X=x)$$
即朴素贝叶斯法所采用的原理。

参数估计

极大似然估计

在朴素贝叶斯法中，可以应用极大似然估计法估计相应的概率。

先验概率$P(Y=c_k)$的极大似然估计是：
$$P(Y=c_k)=\frac{\sum _{i=1}^{N}I(y_i=c_k)}{N},k=1,2,\cdots ,K$$
条件概率$P(X^j=a_{jl}|Y=c_k)$的极大似然估计是
$$\begin{gathered} P(X^{(j)}=a_{jl}|Y=c_k)=\frac{\sum _{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{\sum _{i=1}^{N}I(y_i=c_k)} \\ j=1,2,\cdots ,n;l=1,2,\cdots ,S_j;k=1,2,\cdots ,K \end{gathered}$$

贝叶斯估计

用极大似然估计可能会出现所要估计的概率值为0的情况。这时会影响到后验概率的计算结果，使分类产生偏差。

解决这一问题的方法使采用贝叶斯估计，先验概率的贝叶斯估计是：
$$P(Y=c_k)=\frac{\sum _{i=1}^{N}I(y_i=c_k)+\lambda }{N+K\lambda },k=1,2,\cdots ,K$$
条件概率的贝叶斯估计是：
$$P(X^{(j)}=a_{jl}|Y=c_k)=\frac{\sum _{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)+\lambda }{\sum _{i=1}^{N}I(y_i=c_k)+S_j\lambda }$$
式中$\lambda \ge 0$等价于在随机变量各个取值的频数上赋予了一个正数$\lambda >0$。常取$\lambda =1$，这时称为拉普拉斯平滑。