sklearn 套件的主要内容_朴素贝叶斯法（NaiveBayes） 总结和实现（sklearn）

Email：gong5264@mail.ustc.edu.cn

原创内容，转载请标明

本人水平有限，如有错误还请批评指正

帅帅家的人工智障

参考的文献在最后。

---

目录：

一：朴素贝叶斯

二：算法实现

三：参考文献

声明： 表示换行

---

一：朴素贝叶斯法（NaiveBayes）

这里主要参考李航的《统计学习》以及周志华的《机器学习》

对于给定的训练数据集，首先基于特征条件独立假设学习输入输出的联合概率分布；然后基于此模型，对于给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。

1 .贝叶斯公式：

P(c)是类的先验概率

P(x|c)是样本x相对于类标记c的类条件概率，也称似然

P(x)是归一化的证据因子

2 .问题转化：

由大数定律，P(c)可以由各类样本出现的频率来估计

P(x|c)涉及关于x所有属性的联合概率，所以需要极大似然估计

朴素贝叶斯的属性条件独立性假设，每个属性独立的对分类结果产生影响，所以问题转化成：

3 .极大似然估计

估计类条件概率的一种常用策略是先假设其具有某种确定的概率分布形式，再基于训练样本对概率分布的参数进行估计。

这里要注意先验的假设，即对真实概率分布的假设

---

---

二 算法实现：

各种各样的的朴素贝叶斯分类器的差异大部分来自于处理分布时的所做的假设不同

1 . 高斯朴素贝叶斯

导入相应包：

from sklearn import datasets
from sklearn.naive_bayes import GaussianNB

加载数据：

iris = datasets.load_iris()

分类：

gnb = GaussianNB()
y_pred = gnb.fit(iris.data, iris.target).predict(iris.data)
print("Number of mislabeled points out of a total %d points : %d"
    % (iris.data.shape[0],(iris.target != y_pred).sum()))

具体参考：sklearn.naive_bayes.GaussianNB - scikit-learn 0.19.0 中文文档 - ApacheCN

---

2 . 多项式分布朴素贝叶斯：

MultinomialNB 实现了服从多项分布数据的朴素贝叶斯算法，也是用于文本分类经典朴素贝叶斯算法之一

具体参考：sklearn.naive_bayes.MultinomialNB - scikit-learn 0.19.0 中文文档 - ApacheCN

---

3 .伯努利朴素贝叶斯：

BernoulliNB 实现了用于多重伯努利分布数据的朴素贝叶斯训练和分类算法，即有多个特征，但每个特征 都假设是一个二元 (Bernoulli, boolean) 变量。

具体参考：sklearn.naive_bayes.BernoulliNB - scikit-learn 0.19.0 中文文档 - ApacheCN

---

---

四：参考文献

1.

sklearn.naive_bayes.GaussianNB - scikit-learn 0.19.0 中文文档 - ApacheCN​sklearn.apachecn.org

2.

sklearn.naive_bayes.MultinomialNB - scikit-learn 0.19.0 中文文档 - ApacheCN​sklearn.apachecn.org

3.

sklearn.naive_bayes.BernoulliNB - scikit-learn 0.19.0 中文文档 - ApacheCN​sklearn.apachecn.org

4.

1.9. 朴素贝叶斯 - scikit-learn 0.19.0 中文文档 - ApacheCN​sklearn.apachecn.org

5 . 《机器学习》周志华

6 . 《统计学习》李航