机器学习-朴素贝叶斯

文章目录

1.朴素贝叶斯的介绍

2.朴素贝叶斯模型

2.1.高斯分布朴素贝叶斯

2.2.伯努利分布朴素贝叶斯

2.3.多项式分布朴素贝叶斯

2.4.总结

---

1.朴素贝叶斯的介绍

根据条件概率公式和全概率公式，得到贝叶斯公式：

具体它的推导过程，可以参考B站上一个博主所讲https://www.bilibili.com/video/BV1qt41117Hg?share_source=copy_web

如果将贝叶斯公式和机器学习中的分类任务结合起来的话，应该是：

 而朴素贝叶斯中的“朴素”一词指的是所有特征之间的发生概率是相互独立的，即满足独立性假设。

为了能更好地理解朴素贝叶斯，可以学习一下经典案例-（嫁与不嫁），参照一下这位CSDN大佬所写的博客http://t.csdn.cn/SX19f

2.朴素贝叶斯模型

2.1.高斯分布朴素贝叶斯

适用于数据集符合正态分布的情况，比如sklearn中的鸢尾花分类 ，人的身高等等，一般符合自然属性的数据集都是满足正态分布的。

在Python中的代码实现

#第1步：导包
import sklearn.naive_bayes import GaussianNB
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

#第2步：切分数据集（根据实际情况切分即可）
Xtrain,ytrain,Xtest,ytest=train_test_split(data feature, data target,test_size=0.2)

#第3步：模型搭建
model=GaussianNB()

#第4步：模型训练
model.fit(Xtrain,ytrain)

#第5步：模型预测
model.predict(Xtest)

#第6步：模型评估（评价指标可以是准确率）
accuracy_score(ytest,model.predict(Xtest))

2.2.伯努利分布朴素贝叶斯

伯努利分布也叫0-1分布，即在一次随机实验中，随机变量的取值只有0或1，可以理解为有点“非黑即白”的感觉。关于伯努利分布的讲解，可以参照这位博主所写：http://t.csdn.cn/9ooNM

在Python中的代码实现

#导包
import sklearn.naive_bayes import BernoulliNB

#建模
model=BernoulliNB()

#除此以外，其余步骤跟上面的高斯分布朴素贝叶斯相同

2.3.多项式分布朴素贝叶斯

多项式分布是在二项式分布的基础上拓展的。多项式分布可以描述各种类型样本出现次数的概率，因此多项式朴素贝叶斯适合描述出现次数或者出现次数比例的特征。关于多项式分布的讲解，可以参照这位博主所写：http://t.csdn.cn/8ddGh

在Python中的代码实现

#导包
import sklearn.naive_bayes import MultinomialNB

#建模
model=MultinomialNB()

#除此以外，其余步骤跟上面相同

2.4.总结

1. 高斯分布的朴素贝叶斯适用于“样本特征的分布大部分是连续值”
2. 伯努利分布的朴素贝叶斯适用于“二分类问题即样本特征分布以二元离散值为主”
3. 多项式分布的朴素贝叶斯适用于“样本特征的分布大部分是多元离散值”