莺尾花数据集–贝叶斯分类
Step1: 库函数导入
import warnings
warnings.filterwarnings('ignore') #忽略了警告错误的输出
import numpy as np
# 加载莺尾花数据集
from sklearn import datasets
print(sklearn.__version__)
# 导入高斯朴素贝叶斯分类器
#一共有3个朴素贝叶斯的分类算法:
#GaussianNB,先验为高斯分布的朴素贝叶斯
#MultinomialNB,先验为多项式分布的朴素贝叶斯
#BernoulliNB,先验为伯努利分布的朴素贝叶斯
from sklearn.naive_bayes import GaussianNB
#train_test_split是sklearn中用于划分数据集,即将原始数据集划分成测试集和训练集两部分的函数
from sklearn.model_selection import train_test_split
#X_train,X_test,y_train,y_test = train_test_split(X,y,train_size = 0.75, random_state=14, stratify=y)
#train_size:训练集大小
#test_size:测试集大小,默认值是0.25
#random_state:可以理解为随机数种子,主要是为了复现结果而设置
#shuffle:表示是否打乱数据位置,True或者False,默认是True
#stratify:表示是否按照样本比例(不同类别的比例)来划分数据集
<IPython.core.display.Javascript object>
0.19.2
Step2: 数据导入&分析
X, y = datasets.load_iris(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
我们需要计算两个概率分别是:条件概率:
P
(
X
(
i
)
=
x
(
i
)
∣
Y
=
c
k
)
P(X^{(i)}=x^{(i)}|Y=c_k)
P(X(i)=x(i)∣Y=ck)和类目
c
k
c_k
ck的先验概率:
P
(
Y
=
c
k
)
P(Y=c_k)
P(Y=ck)。
通过分析发现训练数据是数值类型的数据,这里假设每个特征服从高斯分布,因此我们选择高斯朴素贝叶斯来进行分类计算。
Step3: 模型训练
# 使用高斯朴素贝叶斯进行计算
#help(GaussianNB)
clf = GaussianNB(priors=None) #var_smoothing=1e-8
clf.fit(X_train, y_train)
GaussianNB(priors=None)
# 评估
y_pred = clf.predict(X_test)
acc = np.sum(y_test == y_pred) / X_test.shape[0]
print("Test Acc : %.3f" % acc)
# 预测
y_proba = clf.predict_proba(X_test[:1])
print(clf.predict(X_test[:1]))
print("预计的概率值:", y_proba)
Test Acc : 0.967
[2]
预计的概率值: [[1.63380783e-232 2.18878438e-006 9.99997811e-001]]
Step5: 原理简析
高斯朴素贝叶斯假设每个特征都服从高斯分布,我们把一个随机变量X服从数学期望为μ,方差为σ2的数据分布称为高斯分布。对于每个特征我们一般使用平均值来估计μ和使用所有特征的方差估计σ2。
P ( X ( i ) = x ( i ) ∣ Y = c k ) = 1 2 π σ y 2 exp ( − ( x ( i ) − μ c k ) 2 2 σ c k 2 ) P(X^{(i)}=x^{(i)}|Y=c_k) = \frac{1}{\sqrt{2\pi\sigma^2_y}} \exp\left(-\frac{(x^{(i)} - \mu_{c_k})^2}{2\sigma^2_{c_k}}\right) P(X(i)=x(i)∣Y=ck)=2πσy21exp(−2σck2(x(i)−μck)2)
从上述例子中的预测结果中,我们可以看到类别2对应的后验概率值最大,所以我们认为类目2是最优的结果。