python朴素贝叶斯对wine_《统计学习方法》 第四章朴素贝叶斯法

1.1 模型简介

朴素贝叶斯法(naive Bayes)是一种基于贝叶斯定理和特征条件独立的分类算法.它的实现较为简单且学习预测的效率也很高, 所以是实际中应用非常广泛的一类模型.

贝叶斯公式

---

1.2 基本假设

1.2.1 联合概率分布

在朴素贝叶斯法中, 假设输入空间

是

维向量的集合, 输出的预测空间

.

算法中使用的

是定义在输入空间

的随机向量,

是定义在输出预测空间

的随机向量.

是

和

的联合概率分布.

假设训练集

是由

独立同分布产生的.

1.2.2 条件独立性

朴素贝叶斯的核心即是计算

先验分布

条件概率分布

但是条件概率分布有指数级的参数, 假设每一个维度

上有可取值数量

,

有可取值数量

个, 那么需要估计的条件概率分布参数有

个.

所以在朴素贝叶斯法中, 一个重要的假设就是条件独立性, 每一维度的分布是独立于其他维度的, 即

. 这一假设使

朴素贝叶斯法变得简单许多, " 朴素"两字也因此而得名, 但有时会牺牲一定的分类准确性.

1.2.3 后验概率最大化

朴素贝叶斯法的分类原则是选取后验概率最大的类别, 即给定当前数据点