朴素贝叶斯python实现预测_机器学习模型3 朴素贝叶斯-基于Python sklearn的实现

1、模型原理

1、原理：基于概率论的方法，计算一个样本x属于某个类别c的概率最大，即计算P(c│x)的最大值，即样本x分到类别c中的概率最大

1-1.png

。

2、计算步骤：

第一步，通过条件概率，可以转化为

1-2.png

。但由于很多样本取值在训练集中根本没有出现，即很多P(x│c)=0，因此直接使用频率来估计P(x│c) 显然不可行，因为"未被观测到"与"出现概率为零"通常是不同的.

第二步，假设概率密度P(x│c)符合某种确定的概率分布形式，再基于训练样本对概率分布的函数进行极大似然估计，就是在所有可能的参数Θ中，寻找一个能使训练数据出现的“可能性”最大的值。

比如假定在连续属性情形下，数据的概率密度函数P(x│c)符合正态分布，那问题就转化为了，知道一系列的属性数据，估计正态分布的均值、方差两个参数(因为均值、方差两个参数确定了，该正态分布函数也就确定了)，再然后就等于是参数都知道了，然后计算在x处的概率密度，即P(x│c)就知道了。

第三步，

1-3.png

中，p(ci)就是一个类别的占比，比如好瓜占西瓜总数的比例，根据第二步P(x│ci)也求出来了，再计算样本x下，哪个P(ci│x)最大即可。

3、注意点：

(1)拉普拉斯修正

用极大似然估计可能会出现所要估计的概率值为0的情况，(如纹理=“模糊”这个属性在训练样本中，从来没有“好瓜”，再进行连成计算时，不管其他属性是什么，分类结果都是好瓜=否，这显然不太合理)，因此进行了“拉普拉斯修正”，加一个常数，一般为1。

具体公式为：

1-4.png

(2)连乘会造成下溢(数字越来越小)，所以将其转化为对数似然，变成对数连加。

(3)半朴素贝叶斯

属性条件独立性假设，在现实任务中这个假设往往很难成立，于是，人们尝试对其进行一定程度的放松，由此产生了“半朴素贝叶斯分类器”的学习方法，其中最常用的策略是“独依赖估计”，所谓“独依赖”就是假设每个属性在类别之外最多仅依赖一个其他属性。

4、总结

(1)对于分类而言，有时候“使用概率”要比“使用硬规则”更为有效。

(2)朴素贝叶斯常用于文本分类，比如判断是不是垃圾邮件或恶意发言。每一个单词作为一个特征，出现有否，作为0-1。最后是不是垃圾邮件也是0-1.

2、Python3中sklearn.naive_bayes的代码实现

2.1 sklearn关于朴素贝叶斯的算法概述

在scikit-learn中，一共有3个朴素贝叶斯的分类算法类。分别是GaussianNB，MultinomialNB和BernoulliNB。

GaussianNB就是先验为高斯分布的朴素贝叶斯，

MultinomialNB就是先验为多项式分布的朴素贝叶斯，

BernoulliNB就是先验为伯努利分布的朴素贝叶斯。

这三个类适用的分类场景各不相同，一般来说：

如果样本特征的分布大部分是连续值，使用GaussianNB会比较好。

如果样本特征的分布大部分是多元离散值，使用MultinomialNB比较合适。

如果样本特征是二元离散值或者很稀疏(即各个特征出现概率很低)的多元离散值，应该使用BernoulliNB。

2.2 sklearn.naive_bayes.BernoulliNB(伯努利分布、二元离散)

sklearn.naive_bayes.BernoulliNB(alpha=1.0, binarize=0.0, fit_prior=True, class_prior=None)

alpha，浮点型，可选，默认值为1.0。这从参数的作用是设置拉普拉斯修正(平滑)的数值。如果发现拟合的不好，需要调优时，可以选择稍大于1或者稍小于1的数。

binarize，浮点型或者None，可选，默认值是0.0

这个参数主要是用来帮BernoulliNB处理二项分布的，可以是数值或者不输入。如果不输入，则BernoulliNB认为每个数据特征都已经是二元的。否则的话，小于binarize的会归为一类，大于binarize的会归为另外一类。

(这里是参考刘建平博客里的说法，None代表的是不输入吗？但是它的默认值是0啊)

fit_prior，布尔型，可选，默认值是True

这个参数是设置表示是否要考虑先验概率(即各个类别的分布概率)。

如果是false,则所有的样本类别输出都有相同的类别先验概率。

如果是true，则可以自己用第三个参数class_prior输入先验概率。此时，如果不输入第三个参数class_prior，则让MultinomialNB自己从训练集样本来计算先验概率，此时的先验概率为P(Y=Ck)=mk/m。其中m为训练集样本总数量，mk为输出为第k类别的训练集样本数。

class_prior，array数组型，可选，默认值是None

这个参数是在需要考虑先验概率的情况下，人为设置先验概率，默认为None时，模型自己计算，否则，就自己输入一个表示各个类别分布概率的数组。

2.3 sklearn.naive_bayes.MultinomialNB(多项式分布、多元离散)

sklearn.naive_bayes.MultinomialNB(alpha=1.0, fit_prior=True, class_prior=None)

alpha，浮点型，可选，默认值为1.0。这从参数的作用是设置拉普拉斯修正(平滑)的数值。如果发现拟合的不好，需要调优时，可以选择稍大于1或者稍小于1的数。

fit_prior，布尔型，可选，默认值是True

这个参数是设置表示是否要考虑先验概率(即各个类别的分布概率)。

如果是false,则所有的样本类别输出都有相同的类别先验概率。

如果是true，则可以自己用第三个参数class_prior输入先验概率。此时，如果不输入第三个参数class_prior，则让MultinomialNB自己从训练集样本来计算先验概率，此时的先验概率为P(Y=Ck)=mk/m。其中m为训练集样本总数量，mk为输出为第k类别的训练集样本数。

class_prior，array数组型，可选，默认值是None

这个参数是在需要考虑先验概率的情况下，人为设置先验概率，默认为None时，模型自己计算，否则，就自己输入一个表示各个类别分布概率的数组。

2.4 sklearn.naive_bayes.GaussianNB(高斯分布、连续值)

sklearn.naive_bayes.GaussianNB(priors=None)

-priors，设置先验概率， 这个值默认为None，如果不给出此时P(Y=Ck)=mk/m。其中m为训练集样本总数量，mkmk为输出为第k类别的训练集样本数。如果给出的话就以priors 为准。

2.5 预测方法

在进行fit样本数据，训练完模型后， 有三种预测方法：

-predict 方法就是我们最常用的预测方法，直接给出测试集的预测类别输出。

-predict_proba 则不同，它会给出测试集样本在各个类别上预测的概率。容易理解，predict_proba预测出的各个类别概率里的最大值对应的类别，也就是predict方法得到类别。

-predict_log_prob,会给出测试集样本在各个类别上预测的概率的一个对数转化。转化后predict_log_proba预测出的各个类别对数概率里的最大值对应的类别，也就是predict方法得到类别。

2.6 一个简单的例子

import numpy as np

X = np.array([[-1, -1], [-2, -1], [-3, -2], [1, 1], [2, 1], [3, 2]])

Y = np.array([1, 1, 1, 2, 2, 2])

from sklearn.naive_bayes import GaussianNB

clf = GaussianNB() #拟合数据

clf.fit(X,Y)

print(clf.predict([[-0.8, -1]]))

print(clf.predict_proba([[-0.8, -1]]))

print(clf.predict_log_proba([[-0.8, -1]]))

[1]

[[ 9.99999949e-01 5.05653254e-08]]

[[ -5.05653266e-08 -1.67999998e+01]]

参考文献

以及sklearn朴素贝叶斯类库使用小结，详细介绍了三种朴素贝叶斯模型中，各个参数的含义。