文章目录
1.朴素贝叶斯的介绍
根据条件概率公式和全概率公式,得到贝叶斯公式:
具体它的推导过程,可以参考B站上一个博主所讲https://www.bilibili.com/video/BV1qt41117Hg?share_source=copy_web
如果将贝叶斯公式和机器学习中的分类任务结合起来的话,应该是:
而朴素贝叶斯中的“朴素”一词指的是所有特征之间的发生概率是相互独立的,即满足独立性假设。
为了能更好地理解朴素贝叶斯,可以学习一下经典案例-(嫁与不嫁),参照一下这位CSDN大佬所写的博客http://t.csdn.cn/SX19f
2.朴素贝叶斯模型
2.1.高斯分布朴素贝叶斯
适用于数据集符合正态分布的情况,比如sklearn中的鸢尾花分类 ,人的身高等等,一般符合自然属性的数据集都是满足正态分布的。
在Python中的代码实现
#第1步:导包
import sklearn.naive_bayes import GaussianNB
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
#第2步:切分数据集(根据实际情况切分即可)
Xtrain,ytrain,Xtest,ytest=train_test_split(data feature, data target,test_size=0.2)
#第3步:模型搭建
model=GaussianNB()
#第4步:模型训练
model.fit(Xtrain,ytrain)
#第5步:模型预测
model.predict(Xtest)
#第6步:模型评估(评价指标可以是准确率)
accuracy_score(ytest,model.predict(Xtest))
2.2.伯努利分布朴素贝叶斯
伯努利分布也叫0-1分布,即在一次随机实验中,随机变量的取值只有0或1,可以理解为有点“非黑即白”的感觉。关于伯努利分布的讲解,可以参照这位博主所写:http://t.csdn.cn/9ooNM
在Python中的代码实现
#导包
import sklearn.naive_bayes import BernoulliNB
#建模
model=BernoulliNB()
#除此以外,其余步骤跟上面的高斯分布朴素贝叶斯相同
2.3.多项式分布朴素贝叶斯
多项式分布是在二项式分布的基础上拓展的。多项式分布可以描述各种类型样本出现次数的概率,因此多项式朴素贝叶斯适合描述出现次数或者出现次数比例的特征。关于多项式分布的讲解,可以参照这位博主所写:http://t.csdn.cn/8ddGh
在Python中的代码实现
#导包
import sklearn.naive_bayes import MultinomialNB
#建模
model=MultinomialNB()
#除此以外,其余步骤跟上面相同
2.4.总结
- 高斯分布的朴素贝叶斯适用于“样本特征的分布大部分是连续值”
- 伯努利分布的朴素贝叶斯适用于“二分类问题即样本特征分布以二元离散值为主”
- 多项式分布的朴素贝叶斯适用于“样本特征的分布大部分是多元离散值”