机器学习实战_04-贝叶斯

优点：在数据较少的情况下仍然有效，可以处理多类别问题
缺点：对于输入数据的准备方式较为敏感
适用数据类型：标称型数据

由于分类器有时会产生错误结果，这时可以要求分类器给出一个最优的类别猜测结果，同时给出这个猜测的概率估计值，贝叶斯决策可以达到这个需求。

朴素贝叶斯分类器的前提假设：
1. 特征相互独立
假设特征为10个，每个特征需要N个样本，则需要N的10次方个样本，如果特征相互独立，则需要N*10个样本。
2. 每个特征同等重要

贝叶斯决策理论：求x属于C1或者C2的概率

1. 创建样本集合

 def loadDataSet():
    postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
                 ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
                 ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
                 ['stop', 'posting', 'stupid', 'worthless', 'garbage'],
                 ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
                 ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]
    classVec = [0,1,0,1,0,1]    #1 is abusive, 0 not
    return postingList,classVec

朴素贝叶斯分类器通常有两种实现方式：
1. 贝努利模型，只考虑出现不出现，不考虑出现的次数
2. 多项式模型实现，考虑出现的次数
本文暂时采用1

2. 创建查询词库

# 创建一个包含在所有文档中出现的不重复词的列表
def creatVocabList(dataSet):
    vocabSet=set([])
    for document in dataSet:
        vocabSet = vocabSet| set(document)
    return list(vocabSet)

3. 转换成标准长度的向量

#将每一个inputSet转换为一个向量
def setOfWords2Vec(vocabList,inputSet):
    returnVec = [0] *len(vocabList)
    for word in inputSet:
        if word in vocabList:
            returnVec[vocabList.index(word)] =1
        else:print ("不存在")
    return returnVec

4. 计算概率的伪代码：

计算每个类别中的文档数目
    对每篇训练文档：
        对每个类别：
            如果词条出现文档中―增加该词条的计数值
            增加所有词条的计数值
        对每个类别：
            对每个词条：
                将该词条的数目除以总词条数目得到条件概率
        返回每个类别的条件概率

朴素贝叶斯分类器训练函数：

#朴素贝叶斯分类器训练函数
def trainNB0(trainMatrix ,trainCategory):
    numTrainDocs = len(trainMatrix)
    numWords = len(trainMatrix[0])
    pAbusive = sum(trainCategory)/float(numTrainDocs)
    p0Num = zeros (numWords);  p1Num = zeros (numWords);
    p0Denom = 0.0;p1Denom = 0.0;
    for i in range(numTrainDocs):
        if trainCategory[i] ==1:
            p1Num +=trainMatrix[i]
            p1Denom +=sum(trainMatrix[i])
        else:
            p0Num += trainMatrix[i]
            p0Denom += sum(trainMatrix[i])
    p1Vect = p1Num/p1Denom
    p0Vect = p0Num / p0Denom
    return p0Vect,p1Vect,pAbusive

5. 分类判断

# 朴素贝叶斯分类函数
def classifyNB(vec2Classify,p0Vec,p1Vec,pClass1):
    p1 = sum(vec2Classify * p1Vec) + log(pClass1)
    p0 = sum(vec2Classify * p0Vec) + log(1-pClass1)
    if p1>p0:
        return 1
    else:
        return 0

测试用例

def testingNB():
    listOPosts,listClasses = loadDataSet()
    myVocabList = creatVocabList(listOPosts)
    trainMat = []
    for postinDoc in listOPosts:
        trainMat.append(setOfWords2Vec(myVocabList,postinDoc))
    p0V,p1V,pAb = trainNB0(array(trainMat),array(listClasses))
    testEntry =["love","my","dalmation"]
    thisDoc = array(setOfWords2Vec(myVocabList,testEntry))
    print testEntry," classified as :" ,classifyNB(thisDoc,p0V,p1V,pAb)
    testEntry = ["stupid","garbage"]
    thisDoc = array(setOfWords2Vec(myVocabList,testEntry))
    print testEntry," classified as :" ,classifyNB(thisDoc,p0V,p1V,pAb)