朴素贝叶斯python代码_朴素贝叶斯模型及python实现

最新推荐文章于 2024-08-06 11:08:19 发布

实话直说

最新推荐文章于 2024-08-06 11:08:19 发布

阅读量1.7k

点赞数

文章标签：朴素贝叶斯python代码

本文链接：https://blog.csdn.net/weixin_42099087/article/details/113719910

版权

本文介绍了朴素贝叶斯模型的原理，包括模型公式、参数估计方法（极大似然估计和贝叶斯估计），并分别展示了高斯朴素贝叶斯和多项式朴素贝叶斯的Python实现。此外，还探讨了极大似然估计与贝叶斯估计的区别。

摘要由CSDN通过智能技术生成

1 朴素贝叶斯模型

朴素贝叶斯法是基于贝叶斯定理、特征条件独立假设的分类方法。在预测时，对输入x，找出对应后验概率最大的 y 作为预测。

NB模型：

输入：

先验概率分布：P(Y=ck),k=1,2,⋯,KP\left(Y=c_{k}\right), \quad k=1,2, \cdots, KP(Y=ck),k=1,2,⋯,K

条件概率分布：P(X=x∣Y=ck)=P(X(1)=x(1),⋯,X(n)=x(n)∣Y=ck),k=1,2,⋯,KP\left(X=x | Y=c_{k}\right)=P\left(X^{(1)}=x^{(1)}, \cdots, X^{(n)}=x^{(n)} | Y=c_{k}\right), \quad k=1,2, \cdots, KP(X=x∣Y=ck)=P(X(1)=x(1),⋯,X(n)=x(n)∣Y=ck),k=1,2,⋯,K

其中，输入数据 X 维度为nnn.

输出：测试数据的后验概率

根据后验=似然∗先验/归一化后验 = 似然*先验/归一化后验=似然∗先验/归一化，有：

P(Y=ck∣X=x)=P(X=x∣Y=ck)P(Y=ck)∑kP(X=x∣Y=ck)P(Y=ck)P\left(Y=c_{k} | X=x\right)=\frac{P\left(X=x | Y=c_{k}\right) P\left(Y=c_{k}\right)}{\sum_{k} P\left(X=x | Y=c_{k}\right) P\left(Y=c_{k}\right)}P(Y=ck∣X=x)=∑kP(X=x∣Y=ck)P(Y=ck)P(X=x∣Y=ck)P(Y=ck)

NB分类器即为：

y=f(x)=arg⁡max⁡ckP(Y=ck)∏jP(X(j)=x(j)∣Y=ck)∑kP(Y=ck)∏jP(X(j)=x(j)∣Y=ck)y=f(x)=\arg \max _{c_{k}} \frac{P\left(Y=c_{k}\right) \prod_{j} P\left(X^{(j)}=x^{(j)} | Y=c_{k}\right)}{\sum_{k} P\left(Y=c_{k}\right) \prod_{j} P\left(X^{(j)}=x^{(j)} | Y=c_{k}\right)}y=f(x)=ar