(1)
上述公式中:事件B发生的概率为 ,事件A发生条件下事件B发生的概率为 。
朴素贝叶斯法的学习与分类:
我们假设,输入空间:为n维向量的集合,输出空间为类标记集合
P(X , Y)为X和Y的联合概率分布。
那么训练数据集为:(2)
其由P(X , Y)独立同分布产生;
朴素贝叶斯法就是通过训练数据集学习联合概率分布P(X, Y)。
先验概率分布: (3)
条件概率分布:
(4)
由两者得到联合概率分布P(X,Y);
条件独立性假设:用于分类的特征在类确定的情况下都是条件独立的;
公式定义:
(5)
朴素贝叶斯分类时,对于给定的输入x , 通过学习到的模型计算后验概率分布,并将后验概率最大的类作为x的类输出。
后验概率计算根据贝叶斯定理:
(6)
将公式(5)代入公式(6)得到:
(7)
公式(7)即为朴素贝叶斯分类的基本公式,那么朴素贝叶斯分类器的表达式为:
(8)
并且由于公式(8)中分母对于所有的类皆相同,那么可以简化为:
(9)
公式(9)是最终的朴素贝叶斯分类器的表达式;
那么为什么最终是求概率最大化呢?下面解释一下后验概率最大化的含义。
当Y = f(X): L(Y , f(X) ) = 0;
当 Y 与 f(X)不相等时: L(Y , f(X)) = 1;
其中f(X)是分类函数,那么期望风险函数可以表达为:
为了使期望风险最小,需要逐个将X= x 极小化,得到:
(10)
这样一来,根据期望风险最小化准则就得到了后验概率最大化准则:
(11)
朴素贝叶斯法的参数估计
在朴素贝叶斯法中,学习意味着估计和 。对于这两个,可以应用极大似然估计法估计相应的概率;
先验概率的极大似然估计是:(12)
假设第j个特征的可能取值集合为。
条件概率的极大似然估计为:
(13)
j = 1,2,...,n; l = 1,2,...,; k = 1,2,...,K; I 为指示函数,为第i个样本的第j个特征,是第j个特征可能取的第l个值;
注意:用极大似然估计可能会导致估计的概率值为0,这是会影响到后验概率的计算结果,使分类出现误差,解决的办法是贝叶斯估计,如拉普拉斯平滑(Laplace smoothing);
贝叶斯估计:
(14)
当 λ == 1时,就是拉普拉斯平滑;
同样的先验概率的贝叶斯估计是:
(15)