阿里天池机器学习训练营task 02：朴素贝叶斯学习笔记

random.shuffle():将序列的所有元素随机排序

使用朴素贝叶斯模型代码：

# 导入高斯朴素贝叶斯分类器
from sklearn.naive_bayes import GaussianNB
...
# 使用高斯朴素贝叶斯进行计算
clf = GaussianNB()
clf.fit(X_train, y_train)

或者

# 使用基于类目特征的朴素贝叶斯，适用于离散数据集
from sklearn.naive_bayes import CategoricalNB
...
clf = CategoricalNB(alpha=1)#alpha,拉普拉斯平滑
clf.fit(X_train, y_train)
acc = clf.score(X_test, y_test)

机器学习算法（二）: 朴素贝叶斯(Naive Bayes)

朴素贝叶斯的介绍

朴素贝叶斯算法（Naive Bayes, NB) 是应用最为广泛的分类算法之一。它是基于贝叶斯定义和特征条件独立假设的分类器方法。由于朴素贝叶斯法基于贝叶斯公式计算得到，有着坚实的数学基础，以及稳定的分类效率。NB模型所需估计的参数很少，对缺失数据不太敏感，算法也比较简单。当年的垃圾邮件分类都是基于朴素贝叶斯分类器识别的。

什么是条件概率，我们从一个摸球的例子来理解。我们有两个桶：灰色桶和绿色桶，一共有7个小球，4个蓝色3个紫色，分布如下图：

从这7个球中，随机选择1个球是紫色的概率p是多少？选择过程如下：

先选择桶
再从选择的桶中选择一个球
𝑝(球=紫色)=𝑝(选择灰桶)⋅𝑝(从灰桶中选择紫色)+𝑝(选择绿桶)⋅𝑝(从绿桶中选择紫色)=12⋅24+12⋅13
上述我们选择小球的过程就是条件概率的过程，在选择桶的颜色的情况下是紫色的概率，另一种计算条件概率的方法是贝叶斯准则。

贝叶斯公式是英国数学家提出的一个数据公式:

𝑝(𝐴|𝐵)=𝑝(𝐴,𝐵)𝑝(𝐵)=𝑝(𝐵|𝐴)⋅𝑝(𝐴)∑𝑎∈ℱ𝐴𝑝(𝐵|𝑎)⋅𝑝(𝑎)

p(A,B)：表示事件A和事件B同时发生的概率。

p(B)：表示事件B发生的概率，叫做先验概率；p(A)：表示事件A发生的概率。

p(A|B)：表示当事件B发生的条件下，事件A发生的概率叫做后验概率。

p(B|A)：表示当事件A发生的条件下，事件B发生的概率。

我们用一句话理解贝叶斯：世间很多事都存在某种联系，假设事件A和事件B。人们常常使用已经发生的某个事件去推断我们想要知道的之间的概率。 例如，医生在确诊的时候，会根据病人的舌苔、心跳等来判断病人得了什么病。对病人来说，只会关注得了什么病，医生会通道已经发生的事件来 确诊具体的情况。这里就用到了贝叶斯思想，A是已经发生的病人症状，在A发生的条件下是B_i的概率。

朴素贝叶斯的应用
朴素贝叶斯算法假设所有特征的出现相互独立互不影响，每一特征同等重要，又因为其简单，而且具有很好的可解释性一般。相对于其他精心设计的更复杂的分类算法，朴素贝叶斯分类算法是学习效率和分类效果较好的分类器之一。朴素贝叶斯算法一般应用在文本分类，垃圾邮件的分类，信用评估，钓鱼网站检测等。

2原理简析
2.1 结果分析
可以看到测试的数据的结果，贝叶斯会选择概率最大的预测结果，比如这里的预测结果是6，6对应的概率最大，由于我们是随机数据，读者运行的时候，可能会出现不一样的结果。

这里的测试数据的准确率没有任何意义，因为数据是随机生成的，不一定具有贝叶斯先验性，这里只是作为一个列子引导大家如何使用。

alpha=1这个参数表示什么？

我们知道贝叶斯法一定要计算两个概率：条件概率： 𝑃(𝑋(𝑖)=𝑥(𝑖)|𝑌=𝑐𝑘) 和类目 𝑐𝑘 的先验概率： 𝑃(𝑌=𝑐𝑘) 。

对于离散特征：

𝑃(𝑋(𝑗)=𝑥(𝑗)|𝑌=𝑐𝑘)=∑𝑁𝑖=1𝐼(𝑥𝑗𝑖=𝑎𝑗𝑙,𝑦𝑖=𝑐𝑘)+𝛼∑𝑁𝑖=1𝐼(𝑦𝑖=𝑐𝑘)+𝑆𝑗𝛼

我们可以看出就是对每一个变量的多加了一个频数alpha。当alphaλ=0时，就是极大似然估计。通常取值alpha=1，这就是拉普拉斯平滑(Laplace smoothing)，这有叫做贝叶斯估计，主要是因为如果使用极大似然估计，如果某个特征值在训练数据中没有出现，这时候会出现概率为0的情况，导致整个估计都为0，因为引入贝叶斯估计。

其中：

𝑆𝑗 ：表示第j个特征的个数。

𝑥𝑗𝑖 ：表示第i个样本的第j维元素。

𝑦𝑖 ：第i个样本的label。

2.2 朴素贝叶斯算法
朴素贝叶斯法 = 贝叶斯定理 + 特征条件独立。

输入 𝑋∈𝑅𝑛 空间是n维向量集合，输出空间 𝑦={𝑐1,𝑐2,…,𝑐𝐾} . 所有的X和y都是对应空间上的随机变量. 𝑃(𝑋,𝑌) 是X和Y的联合概率分别. 训练数据集(由 𝑃(𝑋,𝑌) 独立同分布产生):
𝑇={(𝑥1,𝑦1),(𝑥2,𝑦2),…,(𝑥𝑁,𝑦𝑁)}

计算测试数据x的列表，我们需要依次计算 𝑃(𝑌=𝑐𝑘|𝑋=𝑥) ，取概率最大的值，就是x对应的分类。

𝑃(𝑌=𝑐𝑘|𝑋=𝑥) 我们一般这样解释，当给定 (𝑋=𝑥) 的条件下， 𝑌=𝑐𝑘 的概率，这就是条件概率. 这就简单了，我们只需要每个的x，计算其对应的 𝑐𝑘,𝑘∈[1,2,…,𝐾] 的概率，选择最大的概率作为这个x的类别进行了.

通过贝叶斯公式进行变形，得到预测的概率计算公式：

𝑃(𝑌=𝑐𝑘|𝑋=𝑥)=𝑃(𝑋=𝑥|𝑌=𝑐𝑘)𝑃(𝑌=𝑐𝑘)∑𝑘𝑃(𝑋=𝑥|𝑌=𝑐𝑘)𝑃(𝑌=𝑐𝑘)

我们只需要计算以下两个概率即可，又由于朴素贝叶斯假设条件独立，我们可以单独计算每个特征的条件概率： 𝑃(𝑋(𝑖)=𝑥(𝑖)|𝑌=𝑐𝑘) 和类目 𝑐𝑘 的先验概率： 𝑃(𝑌=𝑐𝑘) 。为了更好的理解这个公式，看下图解释：

其中：
𝑃(𝑌=𝑐𝑘)=∑𝑁𝑖=1𝐼(𝑦𝑖=𝑐𝑘)𝑁,𝑘=1,2,…,𝐾

当涉及到多个条件时，朴素贝叶斯有一个提前的假设，我们称之为 条件独立性假设（或者 简单假设：Naive）：公式如下
𝑃(𝐴,𝐵|𝑌)=𝑃(𝐴|𝑌)⋅𝑃(𝐵|𝑌)

这个公式是朴素贝叶斯的基础假设，即各个条件概率是相互独立的，A不影响B，B不影响A。 而对这里来说，假设 𝑋=[𝑥1,𝑥2,…,𝑥𝑛]
𝑃(𝑋=𝑥|𝑌=𝑐𝑘)=𝑃(𝑋(1)=𝑥(1),𝑋(2)=𝑥(2),…,𝑋(𝑛)=𝑥(𝑛)|𝑌=𝑐𝑘)=∏𝑖=1𝑛𝑃(𝑥𝑖|𝑦)
由此原式可以等价为：

𝑃(𝑌=𝑐𝑘|𝑋=𝑥)=∏𝑛𝑖=1𝑃(𝑥𝑖|𝑌=𝑐𝑘)𝑃(𝑌=𝑐𝑘)∑𝑘∏𝑛𝑖=1𝑃(𝑥𝑖|𝑌=𝑐𝑘)𝑃(𝑌=𝑐𝑘)

我们为了选择后验概率最大的结果，进行概率的比较，由于分母一致，这里直接去掉分母，得到最后的计算公式。

𝑦=𝑎𝑟𝑔𝑚𝑎𝑥𝑐𝑘𝑃(𝑌=𝑐𝑘)∏𝑗𝑃(𝑋(𝑗)=𝑥(𝑗)|𝑌=𝑐𝑘)