Task 02: 朴素贝叶斯--阿里云天池

模拟离散数据集–贝叶斯分类

Step1: 库函数导入

从sklearn库中导入训练用的贝叶斯分类器，和用于划分数据集的函数

import random
import numpy as np
# 使用基于类目特征的朴素贝叶斯
from sklearn.naive_bayes import CategoricalNB
from sklearn.model_selection import train_test_split

Step2: 数据导入&分析

# 模拟数据
rng = np.random.RandomState(1)
# 随机生成600个100维的数据，每一维的特征都是[0, 4]之前的整数
X = rng.randint(5, size=(600, 100))
y = np.array([1, 2, 3, 4, 5, 6] * 100)
data = np.c_[X, y]
# X和y进行整体打散
random.shuffle(data)
X = data[:,:-1]
y = data[:, -1]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)

注： np.c_:是按行连接两个矩阵，就是把两矩阵左右相加，要求行数相等。

Step3: 模型训练&可视化

clf = CategoricalNB(alpha=1)
clf.fit(X_train, y_train)
acc = clf.score(X_test, y_test)
print("Test Acc : %.3f" % acc)

output:

Test Acc : 0.683

# 随机数据测试，分析预测结果，贝叶斯会选择概率最大的预测结果
# 比如这里的预测结果是6，6对应的概率最大，由于我们是随机数据
# 读者运行的时候，可能会出现不一样的结果。
x = rng.randint(5, size=(1, 100))
print(clf.predict_proba(x))
print(clf.predict(x))

output:

[[3.48859652e-04 4.34747491e-04 2.23077189e-03 9.90226387e-01
  5.98248900e-03 7.76745425e-04]]
[4]

原理简析

𝑃(𝑋(𝑗)=𝑥(𝑗)|𝑌=𝑐𝑘)=∑𝑁𝑖=（1𝐼(𝑥𝑗𝑖=𝑎𝑗𝑙,𝑦𝑖=𝑐𝑘)+𝛼）/（∑𝑁𝑖=1𝐼(𝑦𝑖=𝑐𝑘)+𝑆𝑗𝛼)

上面的频数alpha。当alphaλ=0时，就是极大似然估计。通常取值alpha=1，这就是拉普拉斯平滑(Laplace smoothing)，这又叫做贝叶斯估计。

朴素贝叶斯法 = 贝叶斯定理 + 特征条件独立。