统计学习方法笔记（四）

朴素贝叶斯法

（naive Bayes）
基于贝叶斯定理和特征条件独立假设的分类方法。
对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。

朴素贝叶斯法的学习和分类

基本方法

朴素贝叶斯法通过训练数据集学习联合概率分布P(X,Y)。具体地，学习以下先验概率分布及条件概率分布。
朴素贝叶斯法对条件概率分布作了条件独立性的假设。由于这是一个较强的假设，朴素贝叶斯法也由此得名。
朴素贝叶斯法实际上学习到生成数据的机制，所以属于生成模型。
朴素贝叶斯法分类时，对给定的输入x，通过学习到的模型计算后验分布P(Y=c_k|X=x)，将后验概率最大的类作为x的类输出。

后验概率最大化的含义

朴素贝叶斯法将实例分到后验概率最大的类中，这等价于期望风险最小化。
朴素贝叶斯法所采用的原理：后验概率最大化==>期望风险最小化

朴素贝叶斯法的参数估计

极大似然估计

学习与分类算法

贝叶斯估计

首先，为什么要有贝叶斯估计：用极大似然估计可能会出现所要估计的概率值为0的情况。这时会影响到后验概率的计算结果，使分类产生偏差。解决这一问题的方法是采用贝叶斯估计。

小结

1. 朴素贝叶斯法是典型的生成学习方法。生成方法由训练数据学习联合概率分布P(X,Y)，然后求得后验概率分布P(Y|X)。具体来说，利用训练数据学习P(X|Y)和P(Y)的估计，得到联合概率分布P(X,Y)。P(X,Y) = P(Y)P(X|Y)。
   概率估计方法可以使极大似然估计或贝叶斯估计。
2. 朴素贝叶斯法的基本假设是条件独立性。
   
   这是一个较强的假设。由于这个假设，模型包含的条件概率数量大为减少，朴素贝叶斯法的学习与预测大为简化。因而朴素贝叶斯法高效易于实现。缺点是分类的性能不一定很高。
3. 朴素贝叶斯法利用贝叶斯定理与学到的联合概率模型进行分类预测。
   将输入x分到后验概率最大的类。
   后验概率最大等价于0-1损失函数时的期望风险最小化。

《统计学习方法》 李航