【机器学习算法】朴素贝叶斯算法，该算法有非常好的特性，在big data的情况下，它支持数据更新和数据逐渐更改。

1. 1. 朴素贝叶斯（naïve bayes）：

之前我们已经把文本处理的内容讲完了，

现在开始进入机器学习算法的内容。

朴素贝叶斯的原理是贝式定理

能解决什么问题

案例。

它一般之适用于分类问题，线性回归一般只能用于数字预测问题。

这个图要逆着看。我们整理一下思路

我们可以看右下角的表格，这个就是我们这次给的数据，可以发现第一个字段是数字字段年龄，第二个字段是收入，是否为学生，信用程度。

来判断是否会购买电脑。

这里举了一个案例：当年龄小于等于30，收入是medium，学生是yes，信用是fair

那么我们进行概率的预测。我们可以看第1行，的概率，就是在X为基础下购买电脑的可能性

第2行就是在x的基础是不购买电脑的概率。

1，2行如果除以P（x）的话，那他们的和就是1，以为我们其实最后就是比大小，所以不除也问题不大

3,4行是题目里购买电脑和不购买电脑的频率，这个就可以直接带来12

接下来我们要得到X分别在购买电脑和不购买电脑的频率率，先得到年龄小于等于30的2个频率，收入为midium的2个频率，以此类推，得到8个概率。

独立假设：

因为我们假设他们是相互独立的，所以总概率就是4个字段的乘积。进行一个联乘（把购买电脑的情况下的4个字段联乘）

我们可以发现这个模型的基础挺简单。

为什么明明是bayes模型，我们缺要给他添加一个词朴素呢（naïve，有天真的意思）

这是因为我们做了一个简单的假设

独立性假设

因为我们把联合概率，也就是4个字段的概率相乘，就直接看作条件概率。说明我们进行的了一个假设：认为字段之间相互独立，互不影响。

概率的归一化

我们结果是必须进行一个归一化，不然不符合现实逻辑，也就是不买电脑的概率加上买电脑的概率等于1.也就是说要除以P（x）

因为和必须是1，所以我们认为P（x等于0.035=0.028+0.007）

那么买电脑的概率就是0.028/0.035，百分之80

不买电脑的概率就是0.007/0.035，百分之20

这样朴素贝叶斯模型才算完美。

拉普拉斯转化

但是我们还能对概率进行更符合现实逻辑的处理，也就是拉普拉斯转化。就例如买电脑这件事，可能我们求出来的概率为0，但是没有什么东西概率是完全为0的。应该有一点概率（有可能其中一个字段的概率为0）

我们就可以利用拉普拉斯转化进行修正。（其实很简单，就是对每一类都加很小的一个概率，比如0.001）

做朴素贝叶斯算法的几个关键点：

就这个案例，提出一些关于假设的问题：比如年龄与收入，是无关的吗，当然不是，一般年龄越高收入就越高。学生和收入，一般也是有关系的，不可能相互独立，做独立性假设其实就是为了让计算变的简单。但是一般都不能达到假设条件，就实际而言，怎么做的效果其实都不错。

于是就有学者去探讨，为什么明明假设是错误的，但是结果却一般都很好用呢？

有人就归纳2个原因。

原因1：我们对分类问题中的每个都进行了假设，所以每个分类中都出现了错误，那么错误就得到了抵消

原因2：因为我们需要的不是一个非常准确的数值，而是只需要对的概率值，大于错的概率值。

所以独立性假设，其实很多情况下都不是有很大影响。（但也导致了它只适合分类问题。）

还有一件事:朴素贝叶斯其实是贝式网络的简化，后者其实是神经网络的一种。参数量很大，所以要大量的数据，反而会不如朴素贝叶斯模型。后面会用说其中的一个子模型（参数量很大）

还有一件事：朴素贝叶斯其实隐藏了一个假设，它认为每个字段都一样重要。因为我们算每个条件都是直接联乘，没有进行权重的处理。逻辑回归，多元回归都会进行不同的权重。

还有一件事：朴素贝叶斯不会进行字段或者特征的选择，所以做朴素贝叶斯的时候，一定要进行字段的筛选。

案例：判断性别

判断性别的重要性。比如图书馆，市场，都会进行一些商品的推荐，性别对喜爱商品的影响其实是挺大的，所以我们要尽量了解性别特征。所以社群网络就要进行预测。

字段1是杂志促销。字段2是手表促销。字段3是人寿保险促销，字段4是信用卡保险促销。这是记录。

这里我们就希望了解男生女生对这个活动是不是有不同的倾向。

于是我们就可以用朴素贝叶斯做判断。

下面这个表格其实就是朴素贝叶斯模型。对应了各自情况下的概率。

训练朴素贝叶斯模型也非常容易，只要把数据从第一个读到最后一个就可以了。

然后就可以保留这个表，引入我们测试的4个条件。计算概率值：

我们取出对应的概率，进行乘积就可以了。得到结果，0.0593

是女性的结果为0.0281

显然0.0594大于0.0281

所以认为测试集是男性

记得，朴素贝叶斯是预测分类的问题。计算方法就是，在a条件下的b，就要求在b条件下的a概率乘以a的概率，除以b的概率。

一般前者是多个字段概率连乘积。。

如果其中一个字段概率是0：因为只要其中一个字段是0，因为我们求字段概率是连乘，那么朴素贝叶斯的求和结果就一定是0，无论其他数字有多大。

处理方法也很简单，就是和我们之前运用的拉普拉斯方法相似。我们给每个字段不同的情况下概率值都增加一个小的数值。

这就是空值的处理方法，因为我们这个案例没有一个是0的情况，但是其实0的情况经常出现的。

处理方法如下。

案例2：多分类的bayes模型。

这里有3个数据，我们希望通过朴素bayes的模型得到这3个案例的疾病所在。

有5个字段，分别对应不同的症状。

我们的测试集是

那么我们这么继续bayes继续病症预测呢？

同样，我们要得到，在了解这5个症状的条件下得3种疾病的3种概率。

公式就是

然后我们就计算各自的概率就可以

这里就不细说了，大家应该都会了。

我们计算第11个患者情况的时候结果如下

因为我们没有处理为0的概率，所以就会出现百分百得病概率的情况。。

空值的问题

最后说明一下空值的问题，比如第二个手表促销的问题，我们就可以直接忽略掉该字段。我们传统的朴素贝叶斯就不用进行空值填补，朴素贝叶斯它会直接当做没看见。

朴素贝叶斯对数值型的处理

虽然贝叶斯视乎只能进行类别型计算，但是数值型字段可以进行处理，方法有两种，数值离散化，正态分布处理方法。

把正态分布进行数值型字段的处理方式。

正态分布预测概率方法，如果对数值型，

案例：我们添加一个年龄字段。

这是只要有平均值和标准差，就可以。

分别求男生和女生的平均值和标准差。然后我们直接用正态分布的公式去代入求概率。

如图所示。

45岁是红色线。我们可以发现，是女生的概率比较大。

朴素贝叶斯有非常好的特性，的big data的情况下，它支持数据更新和数据逐渐学习。而决策树等等模型都得重新建模。

这个算法简单且效果好。

贝式网络的子模型，TAN

一个字段除了和目标字段有关之外，最多只能和一个输入字段有关，这里我们就把它的前提规则进行了放宽。但是它需要更多的参数，如果我们的数据量不够大，就会出现更糟的结果。

1. 1. 1. 不同类型的朴素贝叶斯

由于python软件对贝叶斯建立的时候，不接受类别型字段的输入，因此，衍生出3种朴素贝叶斯模型的建立方法。

类型1：针对数值型特征的朴素贝叶斯

将所有的类别型字段进行独热模型的处理（比如现在有3类，我们就要编码为100,010,001），把它变为二元的Dummy字段。所有字段的值可以视作正态分布的方式呈现

然后以sklearn.naive_bayes.GaussianNB（高斯分布）做概率的估计

类型2： 针对类别型及顺序型特征的朴素贝叶斯模型

将数值型字段离散化为类别型字段，在将它变为二元的Dummy字段

然后以sklearn.naive_bayes.BernoulliNB（伯努利分布）做概率的估计

类型3：针对二元类别型特征的朴素贝叶斯模型

在文本分析中，每个关键词出现在每篇文章的次数，并非以正态的分布的形式呈现。

然后以sklearn.naive_bayes.multinomialNB（多项式分布）做概率的估计

可能会疑问，为什么我们要用分布的方式去计算概率，而不是用之前的数值去计算概率

主要原因就是因为当数据集数量太小的时候，那么从资料集中计算出来的概率值，偏差将十分严重。

举例来说，我们观察一个质地均匀的骰子，投掷6次的结果是【1,3,1,5,3,3】,如果我们按照这六次的概率去计算每个点的概率，和真实的概率相差将会非常大。

通过概率分布来计算概率，就可以解决这个问题。