朴素贝叶斯法

介绍

朴素贝叶斯法是一种经典的生成模型。所谓生成模型，就是通过学习输入数据和输出数据的联合概率分布$P(X,Y)$来求得后验概率$P(Y|X)$。再具体一点就是利用训练数据来学习$P(Y)$和$P(X|Y)$的估计，然后得到联合概率分布（公式1）：
$$P(X,Y)=P(Y)P(X|Y)$$.
以上公式的各部分的含义分别为：$P(Y)$是类先验概率，P(X|Y)是样本$X$相对于类别$Y$的类条件概率，或者叫似然。因此，如果我们能求得类先验概率分布和类条件概率分布也就可以确定联合概率分布。但是，对于条件概率分布来讲，它涉及$\mathbf{X}$所有属性的联合概率，加入$\mathbf{X}$有$d$和属性，每个属性取值有2种，那么一共就有$2^d$中取值。这种指数级别的参数估计在实际是不可行的。
为此，朴素贝叶斯的一个核心思想就是条件独立性假设：即用于分类的的特征在类确定的条件下都是条件独立的，公式表示为（公式2）：
$$P(\mathbf{X}=\mathbf{x}|Y=c_k)=\prod _{j=1}P({\mathbf{X}}^{(j)}={\mathbf{x}}^{(j)}|Y=c_k)$$
朴素贝叶斯进行分类时，会计算出样本是每一个类别的概率，概率最大的那个类别即是该样本的类别。也就是求后验概率分布 $P(Y=c_k|\mathbf{X}=\mathbf{x})$，可以通过贝叶斯定理求得（公式3）：
$$P(Y=c_k|\mathbf{X}=\mathbf{x})=\frac{P(Y=c_k,\mathbf{X}=\mathbf{x})}{P(\mathbf{X}=\mathbf{x})}=\frac{P(\mathbf{X}=\mathbf{x}|Y=c_k)P(Y=c_k)}{P(\mathbf{X}=\mathbf{x})}$$
$P(\mathbf{X}=\mathbf{x})$可以改写成${\sum }_{k}P(\mathbf{X}=\mathbf{x}|Y=c_k)P(Y=c_k)$。将公式2代入公式3，有（公式5）$$P(Y=c_k|\mathbf{X}=\mathbf{x})=\frac{P(Y=c_k){\prod }_{j=1}P({\mathbf{X}}^{(j)}={\mathbf{x}}^{(j)}|Y=c_k)}{{\sum }_{k}P(Y=c_k){\prod }_{j=1}P({\mathbf{X}}^{(j)}={\mathbf{x}}^{(j)}|Y=c_k)}$$
至此，就比较明朗了，公式分子部分表示当前样本$\mathbf{x}$是$c_k$类的概率，分母表示样本是每一个类别的概率之和。因此，分子部分最大的情况下的类别就是当前样本的类别，即（公式6）：
$$y=f(x)=argma{x}_{c_k}P(Y=c_k)\prod _{j=1}P({\mathbf{X}}^{(j)}={\mathbf{x}}^{(j)}|Y=c_k)$$

参数估计

得到了目标函数后，我们即需要进行参数估计，即学习$P(Y=c_k)$和$P({\mathbf{X}}^{(j)}={\mathbf{x}}^{(j)}|Y=c_k)$。下面介绍两种方法。

极大似然估计

用极大似然估计去求上述两种参数都是通过频率来求，比如求$P(Y=c_k)$，那么只需（公式7）：
$$P(Y=c_k)=\frac{{\sum }_{i=1}I(y_i=c_k)}{N}$$
其中$I(.)$为指示函数。类似的，有（公式8）：
$$P({\mathbf{X}}^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}I({\mathbf{x}}_i^{(j)}=a_{jl},y_i=c_k)}{{\sum }_{i=1}I(y_i=c_k)}$$
其中$a_{jl}$表示样本每一个属性的每一个取值，说白了就是上式就是求独立属性取值的概率。求得以上所有参数之后就可以对测试样本进行预测，概率最大对应的类别即为预测测试样本的类别。

贝叶斯估计

极大似然估计有一个很严重的弊端就是测试样本中某个属性的某个取值概率为0，那么这样就会对后续概率计算产生偏差，因此这里采用拉普拉斯平滑来规避这样的问题：
$$P({\mathbf{X}}^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}I({\mathbf{x}}_i^{(j)}=a_{jl},y_i=c_k)+\lambda }{{\sum }_{i=1}I(y_i=c_k)+S_j\lambda }$$
其中$\lambda >=0$，且当$\lambda =0$时为极大似然估计，一般取$\lambda =1$；$S_j$表示第j个属性可能取值数。类似的，先验概率分布修正为：
$$P(Y=c_k)=\frac{{\sum }_{i=1}I(y_i=c_k)+\lambda }{N+K\lambda }$$
其中K为类别的个数。

Reference

1. 机器学习_周志华
2. 统计学习方法_李航