机器学习—基于概率论的分类方法朴素贝叶斯

---

前言

在深入了解朴素贝叶斯理论之前，我们先得明白以下几个点：

1、朴素贝叶斯的不同之处

回顾之前所学k-邻近算法和决策树，都是基于“对数据实例属于哪一个明确的类”的这样一个问题，作出艰难的回答。缺点就是会产生错误结果。
而这时我们可以要求分类器给出一个最优的类别结果猜测，同时给出这个猜测的概率估计值。

2、基本思想

先统计某个特征在数据集中取某个特定值的次数，然后除以数据集的实力总数，得到了特征取该值的概率。
利用python的文本处理能力将文档切分成词向量，然后利用词向量对文档分类。

3、条件概率

若只有两个事件A，B，那么，P(A|B) = P(AB)/P(B)。
意思是事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为P(A|B)，读作“在B条件下A的概率”。

分析：一般事件A和事件B一般是有交集的，若没有交集（互斥），则条件概率为0

用图更能容易的说明上述问题，我们进行某一实验，某一实验所有的可能的样本的结合为Ω（也即穷举实验的所有样本），圆圈A代表事件A所能囊括的所有样本，圆圈B代表事件B所能囊括的所有样本。

由图再来理解一下这个问题：“B已经发生的条件下，A发生的概率”，这句话中，“B已经发生”就相当于已经把样本的可选范围限制在了圆圈B中，其实就等价于这句话：“在圆圈B中，A发生的概率”，显然P(A|B)就等于AB交集中样本的数目/B的样本数目。

4、全概率

如果事件组B1，B2，… 满足
（1）、B1，B2…两两互斥，即 Bi ∩ Bj = ∅ ，i≠j ， i,j=1，2，…，且P(Bi)>0,i=1,2,…;
（2）、B1∪B2∪…=Ω ，则称事件组 B1,B2,…是样本空间Ω的一个划分
设 B1,B2,…是样本空间Ω的一个划分，A为任一事件，则：
P(A)=P(A|B1)*P(B1) + P(A|B2)*P(B2) + … + P(A|Bn)*P(Bn).

以下图为例，P(A)= P(A|B1)*P(B1) + P(A|B2)*P(B2) +P(A|B3)*P(B3) + P(A|B4)*P(B4)

基于贝叶斯决策理论的分类方法

1、MAP分类准则

MAP: Maximum A Posterior
x 属于类别 c* 的概率：P(C=c*|X=x)>P(C=c|X=x) , c≠c*, c=c1,c2,…，cL

下面举个例子，已知有一个数据集，它由两类数据组成，如下图：

我们用p1(x,y)表示数据点(x,y)属于类别1(图中红色圆点表示的类别)的概率，用p2(x,y)表示数据点(x,y)属于类别2(图中蓝色三角形表示的类别)的概率，那么对于一个新数据点(x,y)，可以用下面的规则来判断它的类别：

如果p1(x,y) > p2(x,y)，那么类别为1
如果p1(x,y) < p2(x,y)，那么类别为2

也就是说，我们会选择高概率对应的类别。这就是贝叶斯决策理论的核心思想，即选择具有最高概率的决策。

如果不用贝叶斯决策理论：
1、使用第1章的 kNN,进行1000次距离计算;
2、使用第2章的决策树,分别沿x轴、y轴划分数据;

kNN算法效率会非常低
决策树在划分数据时会遇到困难，选出最优分类的时候不能很好解决。倘若不止两个轴，那么计算量更是成倍增加。

2、贝叶斯公式

与全概率公式解决的问题相反，贝叶斯公式是建立在条件概率的基础上寻找事件发生的原因（即大事件A已经发生的条件下，分割中的小事件Bi的概率），设B1,B2,…是样本空间Ω的一个划分，则对任一事件A（P(A)>0),有

上式即为贝叶斯公式（Bayes formula)，Bi 常被视为导致试验结果A发生的”原因“，P(Bi)(i=1,2,…)表示各种原因发生的可能性大小，故称先验概率；
P(Bi|A)(i=1,2…)则反映当试验产生了结果A之后，再对各种原因概率的新认识，故称后验概率。

如何更好的理解？看下图（当i=4时，黄色部分）：

3、先验概率

先抛出一个问题：假设要猜测某西瓜的好坏问题，如何判断正反概率？

根据自己购买西瓜的经验，好瓜的概率是p(好瓜)=0.6，坏瓜概率是p(坏瓜)=0.4

则可将p(好瓜)=0.6，p(坏瓜)=0.4作为先验概率，也就是观测新样本前就已知的先验分布p(y)

概念：P(cj)代表还没有训练模型之前，根据历史数据/经验估算cj 拥有的初始概率。P(cj)常被称为cj的先验概率(prior probability) ， 它反映了cj的概率分布，该分布独立于样本。 通常可以用样例中属于cj的样例数|cj|比上总样例数|D|来 近似。

4、后验概率

西瓜好坏的概率和其属性有关； 当观测到西瓜样本（属性取值）x时，它为好瓜概率是多少？

p(y=1|x), p(y=0|x)

后验概率：观测到 x 后对结果 y 的估计；

后验概率给定数据样本x时cj成立的概率P(cj | x )被称为后验概率 （posterior probability），
因为它反映了在看到数据样本 x 后 cj成立的置信度。 大部分机器学习模型尝试得到后验概率。

5、朴素贝叶斯分类器

朴素贝叶斯分类器(Naïve Bayes Classifier)采用了“属性条件独立性 假设”，即每个属性独立地对分类结果发生影响。

其中d为属性数目，Bi为 B 在第i个属性上的取值
对于所有类别来说P(B)都相同，所以只需要计算比较分子即可。

6、基于朴素贝叶斯分类器的案例

这个是出自于课堂ppt的案例，但还是希望在博客里复现一遍：

例子：用西瓜数据集训练一个朴素贝叶斯分类器，对下面的测试例进行分类，判断是不是好瓜

然后我们根据给定的属性值去训练集中找出来相应的数据，计算：


注意因为密度不是离散，是连续的，区分：
对比：

7、拉普拉斯修正

零概率问题： 在计算事件的概率时，如果某个事件在观察样本库（训练集）中没有出现过，会导致该事件的概率结果是0。这是不合理的，不能因为一个事件没有观察到，就被认为该事件一定不可能发生（即该事件的概率为0）。

拉普拉斯平滑是为了解决零概率的问题。

法国数学家拉普拉斯最早提出用加1的方法，估计没有出现过的现象的概率。拉普拉斯平滑，又叫加一平滑，它对分子划分的计数加1，分母加类别数。
理论假设：假定训练样本很大时，每个分量x的计数加1造成的估计概率变化可以忽略不计，但可以方便有效的避免零概率问题。

文档分类问题

整个文档如电子邮件是一个实例，文档中的某些元素构成特征。我们可以统计文档中出现的词，并用它出现或不出现，出现次数作为特征。这样就可以用一个长度统一，内容是特征的向量来描述文档。

朴素贝叶斯中朴素naive的含义是每个特征互相独立，所以根据乘法原理，总概率为各特征相乘。

Python中为了防止下溢出通常计算log(prob),把相乘操作转换为相加。

1、准备数据：从文本中构建词向量

将文本中的段落句子看成单词向量。从文档中的所有单词帅选出哪些单词纳入词汇表，然后必须要将每一篇文档转换为词汇表上的向量。这里有一组已经切分完成的文本，将单词存放到列表中，并对词汇向量进行分类标注：

1、创建实验样本：

def loadDataSet():
    postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
                 ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
                 ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
                 ['stop', 'posting', 'stupid', 'worthless', 'garbage'],
                 ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
                 ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]
    classVec = [0,1,0,1,0,1]    #1 is abusive, 0 not
    return postingList,c