朴素贝叶斯方法

前言

         朴素贝叶斯（NaïveBayes）法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先是基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。朴素贝叶斯方法实现简单，学习与预测的效率都很高，是一种常用的方法。

1.1朴素贝叶斯的学习与分类

1.1.1基本方法

         输入空间：  ， 是定义在输入空间上的随机向量

         输出空间：  ， 为输出空间 上的随机变量

          是以上两者的联合概率分布。训练数据集：

条件概率分布：

 （1）

于是学习到联合概率分布 。

要注意到朴素贝叶斯法对条件概率分布做了条件独立性假设。由于这是一个较强的假设，朴素贝叶斯也因此得名，具体而言：

（2）

         朴素贝叶斯法实际上学习到生成数据的机制，所以属于生成模型。条件独立假设等于是说用于分类的特征在类确定的条件下都是条件独立的。这一假设使得朴素贝叶斯变得简单，但有时会牺牲一定的分类准确率。

         朴素贝叶斯法在分类时，对给定的输入x，通过学习到的模型计算后验概率分布 ，将后验概率最大的类作为x类的输出。后验概率计算根据贝叶斯定理进行：

（3）

 将（2）式带入（3）式有：

（4）

这便是朴素贝叶斯分类的基本方法，于是朴素贝叶斯分类器可以表示成：

（5）

这里要注意到在（5）式中，分母对于所有的 都是相同的，所以：

 

1.1.2后验概率最大化的含义

         朴素贝叶斯法将实例分到后验概率最大的类中，这等价于期望风险最小化。假设选择0-1损失函数。

式中 是分类决策函数。这时，期望风险函数为

期望是对联合分布 取的。由此取条件期望：

为了使期望风险最小化，只需要 逐个最小化，由此可以获得：

这样一来，根据期望风险最小化准则就可以获得到后验概率最大化准则：

这便是朴素贝叶斯法所采用的原理。

2.2朴素贝叶斯参数估计

2.2.1极大似然估计

 

         在朴素贝叶斯方法中，学习意味着估计 和  。可以应用极大似然估计法估计相应的概率。先验概率 的极大似然估计是：

（6）

设第 个特征向量 可能取的集合为 ，条件概率 的极大似然估计是：

（7）

式中，  表示的是第 个样本的第 个特征向量； 是第 个特征向量可能取的第 个值。同时 为指示函数。

2.2.2学习与分类算法（例子说明）

2.2.3贝叶斯估计

         用前面的极大似然估计有的时候会出现所要估计的概率值为0的情况。这时会影响到后验概率的计算结果，使分类产生偏差。解决这一问题的方法是采用贝叶斯估计，具体而言，条件概率的贝叶斯估计是：

（8）

式中的 。等价于在随机变量各个取值的频数上赋予一个正数 。当 的时候就是极大似然估计。常取 ，这时称为拉普拉斯（Laplace smoothing）。此时的先验贝叶斯估计是：

（9）

参考文献：李航老师的《统计学习方法》