朴素贝叶斯算法--垃圾邮件过滤

一、朴素贝叶斯概述

1、贝叶斯决策理论

假设现在我们有一个数据集，它由两类数据组成，我们现在用P1表示数据点属于类别1的概率，用P2表示数据点属于类别2的概率，那么对于一个新数据点X，可以用下面的规则来判断它的类别：
□如果P1(X)>P2(X), 那么类别为1。
□如果P1(X)<P2(X), 那么类别为2。
也就是说，我们会选择高概率对应的类别。这就是贝叶斯决策理论的核心思想，即选择具有最高概率的决策。

2、条件概率

条件概率就是就是事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为P(A|B)，读作“在B条件下A的概率”。
公式：P(A|B) = P(AB)/P(B)

3、朴素贝叶斯

贝叶斯准则告诉我们如何交换条件概率中的条件与结果，可以使用下面的计算方法：

P(A)称为"先验概率"，即在B事件发生之前，我们对A事件概率的一个判断。
P(A|B)称为"后验概率"（Posterior probability），即在B事件发生之后，我们对A事件概率的重新评估。
P(B|A)/P(B)称为"可能性函数"（Likelyhood），这是一个调整因子，使得预估概率更接近真实概率。
朴素贝叶斯则做了条件独立性的假设，每个特征之间相互独立。

4、朴素贝叶斯一般过程

⑴收集数据：可以使用任何方法。
(2)准备数据：需要数值型或者布尔型数据。
(3)分析数据：有大量特征时，绘制特征作用不大，此时使用直方图效果更好。
(4)训练算法：计算不同的独立特征的条件概率。
(5)测试算法：计算错误率。
(6)使用算法：一个常见的朴素贝叶斯应用是文档分类。可以在任意的分类场景中使用朴素贝叶斯命类器，不一定非要是文本。

二、朴素贝叶斯算法–垃圾邮件

1、准备数据：从文本中构建词向量

把文本看成单词向量或者词条向量，也就是说将句子转换为向量。考虑出现在所有文档中的所有单词，再决定将哪些词纳人词汇表或者说所要的词汇集合，然后必须要将每一篇文档转换为词汇表上的向量。
词表到向量的转换函数：
第一个函数 loadDataSet() 创建了一些实验样本。该函数返回的第一个变量是进行词条切分后的文档集合,返回的第二个变量是一个类别标签的集合。函数createVocabList（）会创建一个包含在所有文档中出现的不重复词的列表，为此使用set 数据类型。将词条列表输给set构造函数，set就会返回一个不重复词表。使用函数setOfWords2Vec(），该函数的输人参数为词汇表及某个文档，输出的是文档向量，向量的每一元素为1或0，分别表示词汇表中的单词在输人文档中是否出现。函数首先创建一个和词汇表等长的向量，并将其元素都设置为0 。接着，遍历文档中的所有词，如果出现了词汇表中的单词，则将输出的文档向量中的对应值设为1。

#  函数loadDataSet() 创建了一些实验样本。该函数返回的第一个变量是进行词条切分后的文档集合,第二个变量为自定义的类别
def loadDataSet():
    postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
                 ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
                 ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
                 ['stop', 'posting', 'stupid', 'worthless', 'garbage'],
                 ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
                 ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]
    classVec = [0, 1, 0, 1, 0, 1]
    return postingList, classVec

#  创建不重复词库列表
def createVocabList(dataSet):
    vocabSet = set([])               #创建一个空集
    for document in dataSet:
        vocabSet = vocabSet | set(document)   #创建两个集合的并集
    return list(vocabSet)
#  输出文档向量
def setOfWords2Vec(vocabList, inputSet):
    returnVec = [0]*len(vocabList)       #创建一个元素都为0的向量
    #遍历数据集单词
    for word in inputSet:
        #存在单词在词袋中则
        if word in vocabList:
            #index用于找到第一个与之匹配的下标
            returnVec[vocabList.index(word)] = 1
        else:
            print ("the word: %s is not in my Vocabulary!" % word)
    return returnVec
dataSet,classVec = loadDataSet()
vocabset = createVocabList(dataSet)
print(vocabset)
returnVec = setOfWords2Vec(vocabset,dataSet[0])
print(returnVec)

测试结果：可以看到把句子转化为了数字向量。

2、训练算法：从词向量计算概率

准备数据介绍了如何将一组单词转换为一组数字，接下来看看如何使用这些数字计算概率。
假设现在已经知道一个词是否出现在一篇文档中，也知道该文档所属的类别。接下来运用上面介绍的朴素贝叶斯公式计算概率：

对每个类计算该值，然后比较这两个概率值的大小。
首先可以通过类别1中文档数除以总的文档数来计算概率P(A)。接下来计算P(B|A) , 这里就要用到朴素贝叶斯假设。如果将B展开为一个个独立特征，那么就可以将上述概率写作P(b1,b2,…bn|A)。这里假设所有词都互相独立，该假设也称作条件独立性假设，它意味着可以使用P(b1|A)(b2|A)(b3|A)…(bn|A)来计算上述概率，这就极大地简化了计算的过程。

from numpy import *
#  函数loadDataSet() 创建了一些实验样本。该函数返回的第一个变量是进行词条切分后的文档集合,第二个变量为自定义的类别
def loadDataSet():
    postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
                 ['maybe', 'not', 'take', 'him', 'to',<