《统计学习方法》笔记第四章

朴素贝叶斯（naive Bayes）是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习/输出的联合概率分布；然后基于此模型，对于给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。朴素贝叶斯法实现简单，学习与预测的效率都很高，是一种常用的方法。
本章叙述朴素贝叶斯法，包括朴素贝叶斯法的学习与分类、朴素贝叶斯法的参数估计法。
朴素贝叶斯法通过训练数据集学习联合概率分布P(X,Y)。具体地，学习以下先验概率分布及条件概率分布，先验概率分布：

条件概率分布：

于是学习到联合概率分布P(X,Y)

4.2.2 学习与分类算法

案例：


4.2.3贝叶斯估计
用极大似然估计可能会出现所要估计的概率值为0的情况。这时会影响到后验概率的计算结果，使分类产生偏差。解决这一问题的方法是采用贝叶斯估计，具体地，条件概率的贝叶斯估计是
式中λ≥0。等价于在随机变量各个取值的频数上赋予一个正数λ＞0，当λ=0时就是极大似然估计。常数λ=1，这时成为拉普拉斯平滑。显然，对任何 l= 1,2,3,…,Sj，k=1,2,…,K.
先验概率的贝叶斯估计是：

案例：

朴素贝叶斯法中假设输入变量都是条件独立的，如果假设他们之间存在概率依存关系，模型就变成了贝叶斯网络。