《统计学习方法》第四章总结

第四章讲的是朴素贝叶斯法。首先我们要区别先验概率和后验概率以及贝叶斯公式

先验概率：P（x）

后验概率：条件概率 P（y| x）

贝叶斯公式及其各种形式

这个公式是我们在概率论中最常见的公式。朴素贝叶斯法实际上学习到生成数据的机制，所以属于生成模型，条件独立假设等于是说用于分类的特征在类确定的条件下都是条件独立的。后验概率最大化等价于期望风险最小化，由上述，可以推导出朴素贝叶斯算法：

朴素贝叶斯算法的优点是高效，易于实现，但是分类的性能不高，存在很大的缺陷。因为都是乘积的形式，如果后验概率中有一项为0，就会导致分子无论如何都为0，影响最终的结果，为了解决这个问题，我们提出了贝叶斯估计，对其进行修正。