朴素贝叶斯方法

朴素贝叶斯方法

简单的来说，朴素贝叶斯方法是基于贝叶斯定理和特征条件独立性的假设的一种分类方法，具有效率高，参数少，分类较准确的优点

贝叶斯定理

贝叶斯定理是关于两个随机事件X和Y的条件概率的问题，用公式说明如下：
$$P(Y|X)=\frac{P(X,Y)}{P(X)}=\frac{P(Y)P(X|Y)}{{\Sigma }_{Y}P(Y)P(X|Y)}(1)$$
即在得知Y的概率分布和X对于Y的条件概率分布的情况下，我们可以求出Y对于X的条件概率分布

特征条件独立性假设

朴素贝叶斯方法是建立在条件独立性假设的基础上，即假设X的每一维是独立的
$$P(X=x|Y=c_k)=\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)(2)$$
这会极大的减少朴素贝叶斯方法的参数，但会牺牲一定的准确率

朴素贝叶斯方法

NBC的目标是对于给定的n维特征向量x，求出类标记Y对应的每一类的概率，而后将Y分到概率最大的一类中，因此数学上的目标是求出条件概率P(Y|X)，根据贝叶斯公式，我们需要两种概率分布：P(X,Y)和P(X)，进一步的，我们可以根据贝叶斯公式得知我们需要P(X|Y)和P(Y)。数学推导如下：

对于P(Y|X)，我们通过贝叶斯公式和独立性假设将其展开：
$$P(Y=c_k|X=x)=\frac{P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)}{{\Sigma }_{k}P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)}$$
根据公式，我们可以将朴素贝叶斯分类器表示为：
$$y=f(x)=argma{x}_{c_k}\frac{P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)}{{\Sigma }_{k}P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)}$$
由于对所有的类，分母都是相同的，因此我们只需看分子项，式子变成了：
$$y=f(x)=argma{x}_{c_k}P(Y=c_k)\prod _{j}P(X^{(j)}=x^{(j)}|Y=c_k)(3)$$
对于参数P(X|Y)和P(Y)，我们提出了如下的求解方法

朴素贝叶斯方法的参数估计

对于朴素贝叶斯方法中的参数，我们采用极大似然估计的方法获得。

首先是参数P(Y)，这类参数我们可以直接统计数据集种每一类标签的频率作为Y的概率分布即可，即：
$$P(Y=c_k)=\frac{{\Sigma }_{i=1}^{N}I(y_i=c_k)}{N},k=1,...,K$$
其次是P(X|Y)。根据(3)，我们只需求出每个分量的条件概率，这也可以通过统计获得，有
$$P(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\Sigma }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{{\Sigma }_{i=1}^{N}I(y_i=c_k)}$$
其中，a_jl表示第j个特征可能取的第i个值，I为指示函数。

朴素贝叶斯学习与分类算法

下面给出朴素贝叶斯方法的学习与分类算法：

​ 输入：数据集T，实例x

​ 输出：x的分类

1. 根据极大似然估计计算先验概率和条件概率，具体方法我们刚刚讲过；
2. 对于实例x，我们计算朴素贝叶斯方法分类器的结果，确定x所属的类。

后验概率最大化的含义

朴素贝叶斯方法将实例分到后验概率最大的类中，这等价于期望风险最小化。假设选择0-1损失函数L(Y,f(X))，其中 f(X)是分类决策函数。这是，期望风险函数为
$$R_{exp}(f)=E[L(Y,f(X))]$$
期望是对联合分布f(X,Y)取的，因此有
$$R_{exp}(f)=E_X{\Sigma }_{k=1}^K[L(c_k,f(X))]P(c_k|X)$$
为了使期望风险最小化，只需对X=x逐个最小化，由此可得
$$\begin{gathered} f(x)=argmi{n}_y{\Sigma }_{k=1}^{K}L(c_k,y)P(c_k|X=x) \\ =argmi{n}_y{\Sigma }_{k=1}^{K}P(y\ne c_k|X=x) \\ =argmi{n}_y(1-P(y=c_k|X=x)) \\ =argma{x}_{y}P(y=c_k|X=x) \end{gathered}$$
即期望风险最小化等价于后验概率最大化，这就是朴素贝叶斯方法的原理。

贝叶斯估计

采用极大似然估计的方法可能会出现所要估计的概率为0的情况，这会影响到后验概率的计算，使分类产生误差。解决这一问题的一种方法是采用贝叶斯估计，即
$$P_{\lambda }(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\Sigma }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)+\lambda }{{\Sigma }_{i=1}^{N}I(y_i=c_k)+S_j\lambda }$$
λ=0时，即为极大似然估计。通常我们取λ=1，这是称为拉普拉斯平滑。同样的先验概率的贝叶斯估计是
$$P_{\lambda }(Y=c_k)=\frac{{\Sigma }_{i=1}^{N}I(y_i=c_k)+\lambda }{N+K\lambda },k=1,...,K$$