一、朴素贝叶斯的推导
朴素贝叶斯学习(naive Bayes)是一种有监督的学习,训练时不仅要提供训练样本的特征向量X,而且还需提供训练样本的实际标记Y,是一种基于贝叶斯定理和特征条件独立假设的分类方法。
1. 贝叶斯定理:
贝叶斯定理: 。
对于分类问题,其中 可看作 在样本的特征为X的条件下,样本的类别为Y的条件概率,这正是分类问题中我们想求的;
而右边中的 可看作 训练集中样本类别为Y的概率 , 可看作 在训练集中特征为X时,样本类别为Y的条件概率, 可看作 训练集中特征为X的样本概率。可看出,右边的值我们是可以通过计算得到的。其中 、 分别为 X和Y的先验概率,其值与训练集的选择有一定的关系。
2. 特征条件独立假设
由 1 可知,特征向量 X 的维度不一定是一维的,可能是多维的: 。
因此 样本类别Y 的取值 是跟 样本的每一个维度取值有关的。因此可由贝叶斯定理得出下式:
又因为 朴素贝叶斯 对条件概率分布进行了条件独立性的假设,即同一类别中,样本的每一维度的特征都是 独立的 。朴素贝叶斯之所以“朴素”正因为这一假设。因此可有:
于是可得:
又由 全概率分布公式 可得:
因此我们想要得到的 样本类别y 为:
即 将概率最高的那个标记 作为预测样本的标签。
又因对于 每一个类别标记 来说:
为一常数。
因此 概率最高的样本类别y 可简化表示为:
因此 、 的求值是关键。
二、朴素贝叶斯常用模型
在不同的朴素贝叶斯模型中, 的求值也不同。下列为朴素贝叶斯常见的三种模型。
1. 高斯朴素贝叶斯模型
在高斯朴素贝叶斯模型中,特征向量 X 的特征 通常为 连续型变量,并且假定所有特征的取值是符合高斯分布的,即:
。
其中 参数 、