统计学习方法第四章朴素贝叶斯法-李航

第4章 朴素贝叶斯法

朴素贝叶斯 (naive Bayes) 法是基于贝叶斯定理与特征条件独立假设的分类 方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合 概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大 的输出Y。

4.1 朴素贝叶斯法的学习与分类

基本方法

朴素贝叶斯法通过训练数据集学习 X和Y的联合概率分布

P(X,Y)。

具体地，学习以

下先验概率分布及条件概率分布。

先验概率分布

条件概率分布

条件概率分布有指数级数量的参数，其估计实际是不可行 的。 朴素贝叶斯法对条件概率分布作了条件独立性的假设。 条件独立性假设是 说用于分类的特征在类确定的条件下都是条件独立的。

朴素贝叶斯法实际上学习到生成数据的机制，所以属于生成模型。

朴素贝叶斯法通过最大后验概率(MAP)准则进行类的判决，基于贝叶斯定理，后验概率为：

分母相同，则分类器可表示为

 

 

 

后验概率最大化 等价于 0-1损失函数时的 期望风险最小化。

4.2 朴素贝叶斯法的参数估计

极大似然估计

 

先验概率的极大似然估计：

  

设第j个特征x ^(j) 可能取值的集合为 ，条件概率的 极大似然估计：

 

   

总结算法：

贝叶斯估计

用极大似然估计可能会出现所要估计的概率值为0的情况 ，使分类产生偏差，解决这一问题的方法是采用贝叶斯估计。条件概率的贝叶斯估计为：

式中lamda>=0。等价于在随机变量各个取值的频数上赋予一个正数。 常取 lamda=1 ，称为拉普拉斯平滑( Laplace smoothing) 。同样，先验概率的贝叶斯估计为：