机器学习基础：朴素贝叶斯（Machine Learning Fundamentals: Naive Bayes）

前言

朴素贝叶斯是一类假设特征之间具有统计独立性的有监督方法。因此，朴素贝叶斯的使用条件就是假设不同特征之间具有统计独立性。

贝叶斯决策理论

我们以二分类为例介绍贝叶斯决策理论。贝叶斯公式具有如下形式：

$$P\left(y_j\mid x\right)=\frac{p\left(x\mid y_j\right)P\left(y_j\right)}{p(x)}$$

其中 $p(x)={\sum }_{j=1}^{2}p\left(x\mid y_j\right)P\left(y_j\right)$ 是一个全概率公式。

我们可以将上述公式用文字来表达：
$$\text{ posterior }=\frac{\text{ likelihood }\times \text{ prior }}{\text{ evidence }}$$

即后验概率等于先验概率乘以类条件概率，再除以归一化因子（常数）。

最小风险准则

设${\alpha }_1$是将当前结果分为第一类的动作， ${\alpha }_2$是将当前结果分为第二类的动作， ${\lambda }_{ij}=\lambda ({\alpha }_i|y_j)$ 为将$y_i$类分为第i类所付出的损失（loss）。

则把当前样本分为第1类和第2类的损失分别为：
$$\begin{array}{l}R\left({\alpha }_1\mid \mathbf{x}\right)={\lambda }_{11}P\left(y_1\mid \mathbf{x}\right)+{\lambda }_{12}P\left(y_2\mid \mathbf{x}\right)\\ R\left({\alpha }_2\mid \mathbf{x}\right)={\lambda }_{21}P\left(y_1\mid \mathbf{x}\right)+{\lambda }_{22}P\left(y_2\mid \mathbf{x}\right)\end{array}$$

根据最小风险准则，我们应该把当前样本分为损失最小的一类。例如，当$R({\alpha }_1|X)<R({\alpha }_2|X)$时，我们把当前样本x分为第一类。

即：

$${\lambda }_{21}P\left(y_1\mid \mathbf{x}\right)+{\lambda }_{22}P\left(y_2\mid \mathbf{x}\right)>{\lambda }_{11}P\left(y_1\mid \mathbf{x}\right)+{\lambda }_{12}P\left(y_2\mid \mathbf{x}\right)$$
或：
$$\left({\lambda }_{21}-{\lambda }_{11}\right)P\left(y_1\mid \mathbf{x}\right)>\left({\lambda }_{12}-{\lambda }_{22}\right)P\left(y_2\mid \mathbf{x}\right)$$

我们把后验概率写成条件概率与先验概率的乘积，还可以得到如下判别方式：
$$\left({\lambda }_{21}-{\lambda }_{11}\right)p\left(\mathbf{x}\mid y_1\right)P\left(y_1\right)>\left({\lambda }_{12}-{\lambda }_{22}\right)p\left(\mathbf{x}\mid y_2\right)P\left(y_2\right)$$

$$\frac{p\left(\mathbf{x}\mid y_1\right)}{p\left(\mathbf{x}\mid y_2\right)}>\frac{{\lambda }_{12}-{\lambda }_{22}}{{\lambda }_{21}-{\lambda }_{11}}\frac{P\left(y_2\right)}{P\left(y_1\right)}$$

最小误差（最大后验概率）准则

根据最小误差（最大后验概率）准则，分类判断如下：
$$\begin{array}{rlr}& \text{ Decide }{y}_i\text{ if }P\left(y_i\mid \mathbf{x}\right)>P\left(y_j\mid \mathbf{x}\right)& \text{ for all }j\ne i\end{array}$$

实际上，当我们设置${\lambda }_{ii}=0$ 且${\lambda }_{ij}=1(j\ne i)$时，可以发现最大后验概率准则和最小风险准则之间就联系起来了。

朴素贝叶斯

推导过程

朴素贝叶斯分类器的核心概念在于其假设特征之间相互独立，因此可以相应简化贝叶斯公式

我们将贝叶斯公式中的特征向量$x$展开，有：

$$P\left(y\mid x_1,\dots ,x_n\right)=\frac{P(y)P\left(x_1,\dots x_n\mid y\right)}{P\left(x_1,\dots ,x_n\right)}$$

对于等式右边分子的部分，可以用联合概率表示如下：

$$\begin{array}{rl}P(y)P(x_1,...x_n|y)& =P(x_1,...,x_n,y)\end{array}$$

然后不断用链式法则， 有：

$$\begin{array}{rl}P(y)P(x_1,...x_n|y)& =P(x_1,...,x_n,y)\\ & =P(x_1|x_2,...,x_n,y)P(x_2,...,x_n,y)\\ & =P(x_1|x_2,...,x_n,y)P(x_2|x_3,...,x_n,y)\\ & =...\\ & =P(x_1|x_2,...,x_n,y)P(x_2|x_3,...,x_n,y)...P(x_n|y)P(y)\end{array}$$

由于特征之间相互独立，则：

$$P(x_i|x_{i+1},x_n,y)=P(x_i|y)$$

因此：

$$\begin{array}{rl}P(y)P(x_1,...x_n|y)& =P(x_1,...,x_n,y)\\ & =P(x_1|x_2,...,x_n,y)P(x_2|x_3,...,x_n,y)...P(x_n|y)P(y)\\ & =P(x_1|y)P(x_2|y)...P(x_n|y)P(y)\\ & =P(y){\Pi }_{i=1}^{n}P(x_i|y)\end{array}$$

我们把常数归一化因子$P(x_1,...,x_n)$去掉，则有：

$$P\left(y\mid x_1,\dots ,x_n\right)\propto P(y)\prod _{i=1}^{n}P\left(x_i\mid y\right)$$

根据最大后验概率准则，可以得到如下分类方程：

$$\hat{y}=\arg \underset{y}{\max }P(y)\prod _{i=1}^{n}P\left(x_i\mid y\right)$$
这样，我们只需要估计出先验概率P(y)和类条件概率p(x_y)，即可完成分类任务。

给定训练样本之后，P(y)可以通过类别y在整个训练集中出现的频率来估计。

而由于p(x_i|y)是概率密度函数，我们可以通过最大似然估计（MLE）或最大后验估计（MAP）估计得到。

由于概率密度估计需要提前知道概率密度函数的形式，实际操作中，不同的概率密度函数形式就代表着不同的贝叶斯形式，如高斯朴素贝叶斯，多项式朴素贝叶斯等。

高斯朴素贝叶斯

高斯朴素贝叶斯假设特征的类条件概率服从高斯分布，即：

$$P\left(x_i\mid y\right)=\frac{1}{\sqrt{2\pi {\sigma }_y^2}}\exp \left(-\frac{{\left(x_i-{\mu }_y\right)}^2}{2{\sigma }_y^2}\right)$$

实例分析

1. 朴素贝叶斯用于垃圾邮件分类。

思考

1. 朴素贝叶斯方法的优势是什么？

参考文献

1. R. O. Duda, P. E. Hart, and D. G. Stork, Pattern Classification. John Wiley & Sons, 2012.
2. Naive Bayes
3. 机器学习 | 算法笔记- 朴素贝叶斯（Naive Bayesian）