统计学习方法第二版学习笔记（三）朴素贝叶斯法

3 朴素贝叶斯法

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。
对于给定给定数据集，首先基于特征条件独立假设学习输入输出的联合概率分布；然后对给定输入x，利用贝叶斯定理求出后验概率最大的输出y。

3.1 朴素贝叶斯法的学习与分类

朴素贝叶斯法通过训练集学习联合概率分布P(X,Y)。具体通过学习先验概率分布和条件概率分布实现。朴素贝叶斯法对条件概率分布作了条件独立性假设，朴素贝叶斯法也由此得名。

朴素贝叶斯法分类时，对给定的输入x，通过学习得到的模型计算后验概率分布P（Y=?|X=?）（通过贝叶斯定理计算），将后验概率最大的类作为x的输出。

朴素贝叶斯法将实例分到后验概率最大的类中，等价于期望风险最小化。

3.2 朴素贝叶斯法的参数估计

在朴素贝叶斯法中，学习意味着估计。可以使用极大似然估计法估计相应的概率。

用极大似然估计可能会出现要估计的概率值为0的情况，会影响到后验概率的计算结果，使分类产生偏差，解决这一问题可以采用贝叶斯估计。在随机变量各个取值的频数上赋予一个正数λ，λ为0时就是极大似然估计，常取λ为1，这时称为拉普拉斯平滑。

3.3 小结

朴素贝叶斯法是典型的生成学习方法。
学习联合概率分布P(X,Y)，求得后验概率分布P(Y|X)。
估计方法可以是极大似然估计和贝叶斯估计。
朴素贝叶斯法的基本假设条件是条件独立性。
后验概率最大等价于0-1损失函数时期望风险最小化。