朴素贝叶斯算法原理

Naïve Bayes

本节我们从最简单的朴素贝叶斯开始，一步步深入了解基于贝叶斯理论的分类器。

Bayesian Decision Theory

贝叶斯决策论是哦概率框架下实施决策的基本方法。对分类任务来说，在所有相关概率已知的情况下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记 ——西瓜书

假设我们有一个数据集 D    { ( x 1 , y 1 ) , ( x 2 , y 2 ) … ( x n , y n ) } D \ \ \{(x_1, y_1), (x_2,y_2) \dots (x_n, y_n)\} D  {(x1​,y1​),(x2​,y2​)…(xn​,yn​)}，$y_i$表示$x_i$所属的类别。我们定义${\lambda }_{ij}$表示将属于第$i$个类别的样本$x$预测为第$j$个类别的损失，那么我们可以基于后验概率$p(y_i|x)$来获得损失的期望值，即
$$R(y_i|x)=\sum _{i=1}^n{\lambda }_{ij}P(y_j|x)$$
我们的任务是寻找一个判定准则$h:X->Y$(可以理解为模型)，以最小化总体风险
$$R(h)=E_x[R(h(x)|x)]$$
显然，如果能最小化每一条样本的风险$R(h(x)|x)$，那么总体的风险肯定也就被最小化了。因此，贝叶斯判定准则(Bayesian decision rule)为：为最小化总体风险，只需要在每个样本上选择那个能使得条件风险$R(h(x)|x)$最小的$h$，即
$$h^{\ast }(x)=argmi{n}_{c\in y}R(h(x)|x)$$
特别的，如果我们的目标是最小化分类错误率，那么${\lambda }_{ij}$可以被定义为
$${\lambda }_{ij}=\{\begin{array}{l}0,i=j\\ 1,i!=j\end{array}$$
那么此时的$R(y|x)=1-P(y|x)$，因此最小化风险也就等价于最大化后验概率$P(y|x)$，这也就是为什么朴素贝叶斯分类器采用了这样的原理。

对于最大化后验概率$P(y|x)$，衍生出了两类方法，一种是直接对$p(y|x)$进行建模来预测类别标签，这样的得到的是判别式模型；另一种是根据条件概率公式：$p(y|x)=p(x,y)/p(x)$，这里的$p(x)$是一个先验概率，因此对联合概率$p(x,y)$建模，这样得到的就是生成式模型。

Naïve Bayes Classifier

接下来我们讲解一下朴素贝叶斯分类器。朴素贝叶斯分类器就是基于上面所介绍的原理，对联合概率进行建模，因此朴素贝叶斯分类器是一个生成式模型。当然，准确来说，朴素贝叶斯首先是运用了贝叶斯定理，即
$$P(y|x)=\frac{P(y)P(x|y)}{P(x)}$$
​ 这其中，$p(x)$是一个归一化项，可以先不管；$p(y)$是一个先验概率，即类别$y$出现的概率；$p(x|y)$是模型中的似然(由果推因)，表示在已知类别为$y$的条件下，样本$x$出现的概率。首先，我们来看这个先验概率$p(y)$，这个是好求的，计算公式为
$$P(y)=\frac{|D_y|}{|D|}{D}_y表示类别标记为y的样本集合，D表示全集$$
但是难点在于计算似然$p(x|y)$，因为这其实是一个关于$x_i$所有特征的一个联合概率分布，即
$$p(x|y)=p(x^{(1)},x^{(2)},\dots ,x^{(m)}|y)x^{(j)}表示样本的第j个特征$$

Attribute Conditional Independent Assumption

为了方便对似然进行建模，朴素贝叶斯进行了一个大胆的假设：样本$x$的所有特征相互独立。基于这条假设，我们就可以写出似然的表达式：
$$P(x|y)=\prod _{j=1}^{m}P(x^{(j)}|y)$$
因此，我们最终的预测结果就是：
$$y^{\ast }=argmaxP(y)\prod _{j=1}^{m}P(x^{(j)}|y)$$
朴素贝叶斯其实是完全基于统计的模型，给定数据集，我们唯一要做的就是统计出$p(y)$和$p(x^{(j)}|y)$，这两个量其实就可以看作我们模型的参数，得到了模型参数以后，在做预测时，直接计算即可。

Smoothing

在实际预测过程中，我们可能会遇到未被观测到的组合，即数据集中特征$j$没有在类别$y$中出现过，会导致zero term，这在我们的$N-gram$模型中是非常常见的，因此我们采取的解决方法也是一致的，即Smoothing。
$$P(x^{(i)}|y)=\frac{|D_{y,x^{(i)}}|+1}{|D|+V}{D}_{y,x_i}表示D_y中第i个特征取值为x^{(i)}的样本集合,V表示特征i可能的取值总数$$

Continuous Data

上面所介绍的都是基于离散数据的训练和预测，那么对于连续数据该如何处理呢？答案是将原来的概率值变为一个概率密度函数，通常我们会假设$P(x_i|y)\sim N({\mu }_{y,i},{\sigma }_{y,i}^2)$，其中${\mu }_{y,i}$和${\sigma }_{y,i}^2$分别表示类别$y$中第$i$个特征的均值和方差。因此，
$$P(x_i|y)=\frac{1}{\sqrt{2\pi {\sigma }_{y,i}}}exp(-\frac{(x_i-{\mu }_{y,i}{)}^2}{2{\sigma }_{y,i}^2})$$