机器学习之朴素贝叶斯模型及代码示例

一、朴素贝叶斯的推导

朴素贝叶斯学习（naive Bayes）是一种有监督的学习，训练时不仅要提供训练样本的特征向量X，而且还需提供训练样本的实际标记Y，是一种基于贝叶斯定理和特征条件独立假设的分类方法。

1. 贝叶斯定理：

贝叶斯定理： 。

对于分类问题，其中 可看作 在样本的特征为X的条件下，样本的类别为Y的条件概率，这正是分类问题中我们想求的；

而右边中的 可看作 训练集中样本类别为Y的概率 ， 可看作 在训练集中特征为X时，样本类别为Y的条件概率， 可看作 训练集中特征为X的样本概率。可看出，右边的值我们是可以通过计算得到的。其中 、 分别为 X和Y的先验概率，其值与训练集的选择有一定的关系。

2. 特征条件独立假设

由 1 可知，特征向量 X 的维度不一定是一维的，可能是多维的： 。

因此 样本类别Y 的取值 是跟 样本的每一个维度取值有关的。因此可由贝叶斯定理得出下式：

又因为 朴素贝叶斯 对条件概率分布进行了条件独立性的假设，即同一类别中，样本的每一维度的特征都是 独立的 。朴素贝叶斯之所以“朴素”正因为这一假设。因此可有：

于是可得：

又由 全概率分布公式 可得：

因此我们想要得到的 样本类别y 为：

即 将概率最高的那个标记 作为预测样本的标签。

又因对于 每一个类别标记 来说：

为一常数。

因此 概率最高的样本类别y 可简化表示为：

因此 、 的求值是关键。

二、朴素贝叶斯常用模型

在不同的朴素贝叶斯模型中， 的求值也不同。下列为朴素贝叶斯常见的三种模型。

1. 高斯朴素贝叶斯模型

在高斯朴素贝叶斯模型中，特征向量 X 的特征 通常为 连续型变量，并且假定所有特征的取值是符合高斯分布的，即：

。

其中 参数 、