统计学习方法 第四章 朴素贝叶斯法

第四章 朴素贝叶斯法

• 生成模型
• 是基于贝叶斯定理与特征条件独立假设的分类方法
• 训练方法：
  • 首先基于特征条件独立假设学习输入/输出的联合概率分布；
  • 然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。

4.1 朴素贝叶斯法的学习与分类

• 条件独立性假设：用于分类的特征在类确定的条件下都是条件独立的
• 后验概率最小化等价于期望风险最大化

4.2 朴素贝叶斯法的参数估计

• 先验概率P(Y=ck)的极大似然估计是：
  

• 条件概率的极大似然估计：
  
  

• 朴素贝叶斯算法

  • 计算先验概率和条件概率
    
  • 对于给定的实例x，计算
    
  • 确定x的类别
    

• 上述算法可能产生稀疏数据，比如某个属性在样本集中没有，这时会影响到后验概率的计算结果，使分类产生偏差 ——> 采用贝叶斯估计【加个平滑常量】