阿里云天池机器学习task2

Task2 机器学习打卡——朴素贝叶斯理论
模拟离散数据集–贝叶斯分类（举个例子）
Step1: 库函数导入

import random
import numpy as np
# 使用基于类目特征的朴素贝叶斯
from sklearn.naive_bayes import CategoricalNB
from sklearn.model_selection import train_test_split
1
2
3
4
5
Step2: 数据导入&分析

# 模拟数据
rng = np.random.RandomState(1)
# 随机生成600个100维的数据，每一维的特征都是[0, 4]之前的整数
X = rng.randint(5, size=(600, 100))
y = np.array([1, 2, 3, 4, 5, 6] * 100)
data = np.c_[X, y]
# X和y进行整体打散
random.shuffle(data)
X = data[:,:-1]
y = data[:, -1]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
1
2
3
4
5
6
7
8
9
10
11
Step3: 模型训练&预测

clf = CategoricalNB(alpha=1)
clf.fit(X_train, y_train)
acc = clf.score(X_test, y_test)
print("Test Acc : %.3f" % acc)
# 随机数据测试，分析预测结果，贝叶斯会选择概率最大的预测结果
# 比如这里的预测结果是6，6对应的概率最大，由于我们是随机数据
# 读者运行的时候，可能会出现不一样的结果。
x = rng.randint(5, size=(1, 100))
print(clf.predict_proba(x))
print(clf.predict(x))
1
2
3
4
5
6
7
8
9
10
原理简析
可以看到测试的数据的结果，贝叶斯会选择概率最大的预测结果，比如这里的预测结果是6，6对应的概率最大，由于我们是随机数据，读者运行的时候，可能会出现不一样的结果。

这里的测试数据的准确率没有任何意义，因为数据是随机生成的，不一定具有贝叶斯先验性，这里只是作为一个列子引导大家如何使用。

alpha=1这个参数表示什么？

我们知道贝叶斯法一定要计算两个概率：条件概率： 𝑃(𝑋(𝑖)=𝑥(𝑖)|𝑌=𝑐𝑘) 和类目 𝑐𝑘 的先验概率： 𝑃(𝑌=𝑐𝑘) 。

对于离散特征：

𝑃(𝑋(𝑗)=𝑥(𝑗)|𝑌=𝑐𝑘)=∑𝑁𝑖=1𝐼(𝑥𝑗𝑖=𝑎𝑗𝑙,𝑦𝑖=𝑐𝑘)+𝛼∑𝑁𝑖=1𝐼(𝑦𝑖=𝑐𝑘)+𝑆𝑗𝛼

我们可以看出就是对每一个变量的多加了一个频数alpha。当alphaλ=0时，就是极大似然估计。通常取值alpha=1，这就是拉普拉斯平滑(Laplace smoothing)，这有叫做贝叶斯估计，主要是因为如果使用极大似然估计，如果某个特征值在训练数据中没有出现，这时候会出现概率为0的情况，导致整个估计都为0，因为引入贝叶斯估计。

其中：

𝑆𝑗 ：表示第j个特征的个数。

𝑥𝑗𝑖 ：表示第i个样本的第j维元素。

𝑦𝑖 ：第i个样本的label。

原理再解析
我们来看一个实例，更好的理解贝叶斯的计算过程，根据天气和是否是周末预测一个人是否会出门。

根据上述数据，为了更好的理解计算过程，我们给出几个计算公式:

a. 当出门的条件下，X1是天气不好的概率:
𝑝(𝑋1=不好|𝑌=出门)=𝑝(𝑋1=不好,𝑌=出门)𝑝(𝑌=出门)=1/4

b. 出门的概率
𝑝(𝑌=出门)=4/6

c. X1天气不好的概率、
𝑝(𝑋1=不好)=2/6

d. 在X_1天气不好的情况下，出门的概率:

f. 在X_1天气不好的情况下，不出门的概率:
𝑝(𝑌=出门|𝑋1=不好)=1−𝑝(𝑌=不出门|𝑋1=不好)=1−1/2=1/2

朴素贝叶斯的优缺点
优点： 朴素贝叶斯算法主要基于经典的贝叶斯公式进行推倒，具有很好的数学原理。而且在数据量很小的时候表现良好，数据量很大的时候也可以进行增量计算。由于朴素贝叶斯使用先验概率估计后验概率具有很好的模型的可解释性。

缺点： 朴素贝叶斯模型与其他分类方法相比具有最小的理论误差率。但是实际上并非总是如此，这是因为朴素贝叶斯模型给定输出类别的情况下，假设属性之间相互独立，这个假设在实际应用中往往是不成立的，在属性个数比较多或者属性之间相关性较大时，分类效果不好。而在属性相关性较小时，朴素贝叶斯性能最为良好。对于这一点，有半朴素贝叶斯之类的算法通过考虑部分关联性适度改进，例如为了计算量不至于太大，我们假定每个属性只依赖另外的一个。解决特征之间的相关性，我们还可以使用数据降维(PCA)的方法，去除特征相关性，再进行朴素贝叶斯计算。