朴素贝叶斯决策(Naive Bayes)

一、贝叶斯决策理论

1.1、贝叶斯公式推导

二、逻辑实现

2.1、问题引入

垃圾邮件分类：

• 样本：10000封邮件，每个邮件被标记为垃圾邮件或者非垃圾邮件
• 分类目标：给定第10001封邮件，确定它是垃圾邮件还是非垃圾邮件。 未标记
  类别c：垃圾邮件c1，非垃圾邮件c2

2.2、已有公式 贝叶斯公式

2.3、问题分析

三、实例

3.1、网站留言板有如下6条留言

0 	['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
1 	['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
0	 ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
1	 ['stop', 'posting', 'stupid', 'worthless', 'garbage'],
0 	['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
1 	['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']
1代表侮辱性言论，0代表正常言论

3.2、统一文本形式

每个文本有统一形式利于判断。通常将文本转换为词向量(VSM向量空间模型)。

3.2.1、构建词汇表

根据已有数据，对单词进行去重。去重后含有不重复单词32个。
[my, dog, has, flea, problems, help, please, maybe, not, take, him, to, park, stupid, dalmation, is, so, cute, I, love, stop, posting, worthless, garbage, mr, licks, ate, steak, how, quit, buying, food]

3.2.2、文本表示

词集模型

[‘my’, ‘dog’, ‘has’, ‘flea’, ‘problems’, ‘help’, ‘please’]
可以用如下方式表示，对照词汇表，出现的单词标记为1，不出现记为0。
[1, 1, 1, 1, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
任意一篇文档可以用上述方式进行表示。

def setOfWords2Vec(vocabList, inputSet):
    ''' 
    基于贝努利模型： 只考虑词在文档中出现与否， 假设词是等权重的
    生成词汇向量
    :param vocabList: 词汇列表
    :param inputSet:  某个文档
    :return:    文档向量 
    '''
    # 创建一个和词汇列表等长的向量
    returnVec = [0] * len(vocabList)

    # 将输入数据集映射到相应位置
    for word in inputSet:
        if word in vocabList:
            returnVec[vocabList.index(word)] = 1
        else:
            print("the word: %s is not in my Vocabulary!" % word)
    return returnVec

词袋模型

词集模型只标识了单词在一篇文档中是否出现，我们也可以用单词在文档中出现的次数表示，这种表示方法称作词袋模型。

def bagOfWords2VecMN(vocabList, inputSet):
    '''
    词袋模型：每个单词可以出现多次
    :param vocabList:  词汇列表
    :param inputSet:   文档
    :return:    词汇向量
    '''
    returnVec = [0] * len(vocabList)
    for word in inputSet:
        if word in vocabList:
            # 注意此处与词集模型的区别： 记录每个单词出现的次数， 而不是出现与否
            returnVec[vocabList.index(word)] += 1
    return returnVec

下图为词集模型与磁带模型的区别：

3.2.3、先验概率

3.2.4、类条件概率

3.2.4.1、正常言论中， 出现dog的概率

3.2.4.2、侮辱性言论中， 出现dog的概率

3.2.4、存在的问题

问题一：下溢出

问题二：概率为0

3.3、代码实现

3.3.1、创建样本

3.3.2、创建词汇表

3.3.3、根据词汇表，将句子转化为向量

3.3.4、贝叶斯实现

3.3.4.1、伪代码

计算每个类别中的文档数目
对每篇训练文档：     
	对每个类别：     // c1 c2
		如果词条出现在文档中→增加该词条的计数值
		增加所有词条的计数值
	对每个类别：
		对每个词条：
			将该词条的数目除以总词条数目得到类条件概率
	返回每个类别的条件概率

代码实现

# 贝叶斯实现
def trainNB0(trainMatrix, trainCategory):
    '''
    :param trainMatrix: ·  输入文档的词向量
    :param trainCategory:  输入文档的分类
    :return: 
    '''
    numTrainDocs = len(trainMatrix)  # 文档数量
    numWords = len(trainMatrix[0])   # 词汇表的长度

    # 侮辱性的概率， pAb代表的是分类为1的文件占所有文件的比例，也就是先验概率
    pAbusive = sum(trainCategory)/float(numTrainDocs)

    # 此处 为了解决可能出现概率为0，  修正公式， 拉普拉斯平滑
    p0Num = ones(numWords); p1Num = ones(numWords)

    p0Denom = 2.0;
    p1Denom = 2.0

    #  对每篇文档
    for i in range(numTrainDocs):
        # 对每个分类
        if trainCategory[i] == 1:
            p1Num += trainMatrix[i]  ## 增加该词条的计数值
            p1Denom += sum(trainMatrix[i]) ## 增加所有词条的计数值
        else:
            p0Num += trainMatrix[i]
            p0Denom += sum(trainMatrix[i])

    ## 计算 类条件概率
    ## 为了解决多个小数乘积， 数据越来越小， 取对数
    # p0V代表0分类下，每个单词的出现概率，也就是类条件概率（由于用了log，所以是负数，并且由于+1，故没有无穷大项目）
    # p1V代表1分类下，每个单词的出现概率

    p1Vect = log(p1Num / p1Denom)
    p0Vect = log(p0Num / p0Denom)
    return p0Vect,p1Vect,pAbusive
 

3.3.4.2、根据先验概率， 类条件概率， 计算哪一类的概率比较大， 判定为那类

 
def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1):
    '''
    :param vec2Classify: 测试文档向量
    :param p0Vec: 在非侮辱性文档中， 词汇表的单词的概率
    :param p1Vec: 
    :param pClass1: 侮辱性的先验概率
    :return: 
    '''
    # 在对数空间中进行
    p1 = sum(vec2Classify * p1Vec) + log(pClass1)
    p0 = sum(vec2Classify * p0Vec) + log(1.0 - pClass1)
    if p1 > p0:
        return 1
    else: 
        return 0
 

测试

def testingNB():
    # 加载数据
    listOPosts,listClasses = loadDataSet()
    # 创建词汇表
    myVocabList = createVocabList(listOPosts)
    trainMat=[]
    for postinDoc in listOPosts:
        trainMat.append(setOfWords2Vec(myVocabList, postinDoc))
    p0V,p1V,pAb = trainNB0(array(trainMat),array(listClasses))


    # 测试文档
    testEntry = ['love', 'my', 'dalmation']
    # 对应的文档词汇向量
    thisDoc = array(setOfWords2Vec(myVocabList, testEntry))
    print(testEntry,'classified as: ',classifyNB(thisDoc,p0V,p1V,pAb))
    
    testEntry = ['stupid', 'garbage']
    thisDoc = array(setOfWords2Vec(myVocabList, testEntry))
    print(testEntry,'classified as: ',classifyNB(thisDoc,p0V,p1V,pAb))


## 测试
if __name__ == "__main__":
	testingNB()