统计学习方法 学习笔记（4）朴素贝叶斯法

4.1.朴素贝叶斯法的学习与分类

4.1.1.基本方法

• 朴素贝叶斯模型中的训练数据集由输入变量和输出变量的联合概率分布产生。
• 朴素贝叶斯法通过训练数据集学习联合概率分布。具体地，学习先验概率分布和条件概率分布。
• 朴素贝叶斯法的假定：朴素贝叶斯法进行了条件独立性假设，也就是假设各个特征之间互不相关。这是一个较强的假设，使得朴素贝叶斯模型变得简单，但是有时会牺牲一定的分类准确率。

4.1.2.后验概率最大化的含义

朴素贝叶斯法将实例分到后验概率最大的类中，这等价于期望风险最小化。

4.2.朴素贝叶斯法的参数估计

• 极大似然估计法
• 贝叶斯估计法：用极大似然估计可能会出现要估计的概率值为0的情况，这时会影响到后验概率的计算结果，使得分类产生偏差，此时就需要采用贝叶斯估计。贝叶斯估计在表达式中引入一个常数，当该常数为0时，就是极大似然估计；该常数一般取1，称为拉普拉斯平滑系数。