统计学习方法笔记_cbr：第四章 朴素贝叶斯法

第四章 朴素贝叶斯法

朴素贝叶斯（naive Bayes）法是基于贝叶斯定理与特征条件独立假设的分类方法。
先求联合概率分布，根据贝叶斯定理求出后验概率最大的输出y。

4.1 朴素贝叶斯法的学习与分类

4.1.1 基本方法

朴素贝叶斯法实际上学习到生成数据的机制，所以属于生成模型。

朴素贝叶斯法通过训练数据集学习联合概率分布：
联合概率分布=先验概率分布*条件概率分布 ；

朴素贝叶斯法分类时，对给定的输入x，通过学习到的模型计算后验概率分布
P（Y=ck|X=x）,将后验概率最大的类作为x的类输出：

朴素贝叶斯法对条件概率分布作了条件独立性假设：
目的：为了避免贝叶斯定理求解时参数过多导致的组合爆炸、样本稀疏问题

—————————————————————————————————
后验概率通过贝叶斯定理求得
贝叶斯定理：

—————————————————————————————————
带入条件独立性假设得：

分母为常数，分母舍，得以下预测类的模型；

—————————————————————————————————

4.1.2 后验概率最大化的含义

等价与期望风险(0-1损失函数的期望值)最小化:

4.2 朴素贝叶斯法的参数估计

4.2.1 极大似然估计

先验概率为某个类的概率
条件概率为在满足某个类的条件下，特征向量中某一维满足特征的概率

j表示第j个特征，i表示第i个实例（特征向量）；jl表示第j个特征的可能取值；I为指示函数；

4.2.2 学习与分类算法

朴素贝叶斯算法
1.计算先验概率和条件概率

2.给定实例，计算确定实例的类：
（这里ci和ck是一个参数；都表示类的类别）

4.3.2 贝叶斯估计

作用：避免极大似然估计产生的概率为0的情况出现，影响后验概率结果计算，导致分类产生偏差；

图片素材截至B站简博士