机器学习实战之朴素贝叶斯

朴素贝叶斯（Naive Bayes）是一种基于贝叶斯定理的概率分类算法。它被称为"朴素"是因为该算法做出了一个简化的假设：假设所有特征之间是独立的。尽管这个假设并不符合实际情况，但在很多实际问题中，朴素贝叶斯仍然能产生可靠的结果。

基于贝叶斯决策理论的分类方法

 我们现在用表示数据点属于类别1（圆点）的概率，用表示数据点属于类别2（三角形）的概率，那么对于一个新数据点，可以用下面的规则来判断它的类别：

如果p1(x,y)>p2(x,y)，那么类别为1
如果p1(x,y)<p2(x,y)，那么类别为2

也就是说,我们会选择高概率对应的类别.这就是贝叶斯决策理论的核心思想,即选择最高概率的决策。

条件概率

根据上述决策理论，可以定义贝叶斯分类准则：

如果，那么属于类别

如果，那么属于类别

将公式中的x、y替换为w，w表示一个向量，它由多个数值组成。

如果将w 展开为一个个独立特征，并假设特征之间相互独立，那么意味着可以用来计算上述概率，以此达到简化计算的目的。

具体代码实现

构建实验样本

def loadDataSet():
    postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],                
                 ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
                 ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
                 ['stop', 'posting', 'stupid', 'worthless', 'garbage'],
                 ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
                 ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]
    classVec = [0,1,0,1,0,1]#类别标签向量，1代表侮辱性词汇，0代表不是
    return postingList,classVec

 创建词汇表并去重

def creatVocabList(dataset):#去重创建词汇表
    vocabset = set([])
    for document in dataset:
        vocabset = vocabset | set(document)
    return list(vocabset)

 

输出文档向量，向量的每一元素为1或0，1表示词汇表中的单词在输入文档中出现

 

def setOfWords2Vec(vocabList, inputSet):
    returnVec = [0] * len(vocabList)#创建一个其中所含元素都为0的向量
    for word in inputSet:#遍历每个词条
        if word in vocabList:#如果词条存在于词汇表中，则置1
            returnVec[vocabList.index(word)] = 1
        else: print("the word: %s is not in my Vocabulary!" % word)
    return returnVec#返回文档向量

 计算属于侮辱类的概率pAb、侮辱类的词汇表中单词出现的概率p1V、非侮辱类的词汇表中单词出现的概率p0V，并通过取自然对数将相乘变为相加，避免了下溢出。

from numpy import*
def trainNB0(trainMatrix,trainCategory):
    numTrainDocs = len(trainMatrix)
    numWords = len(trainMatrix[0])
    pAbusive = sum(trainCategory)/float(numTrainDocs)
    p0Num = ones(numWords); p1Num = ones(numWords)#p0Num = zeros(numWords); p1Num = zeros(numWords)
    p0Denom = 2.0; p1Denom = 2.0#p0Denom = 0.0; p1Denom = 0.0
    for i in range(numTrainDocs):
        if trainCategory[i]==1:
            p1Num += trainMatrix[i]
            p1Denom += sum(trainMatrix[i])
        else:
            p0Num += trainMatrix[i]
            p0Denom += sum(trainMatrix[i])
    p1Vect = log(p1Num/p1Denom)# p1Vect = p1Num/p1Denom
    p0Vect = log(p0Num/p0Denom)#p1Vect = p0Num/p0Denom
    return p0Vect,p1Vect,pAbusive

p0Num = ones(numWords); p1Num = ones(numWords)#p0Num = zeros(numWords); p1Num = zeros(numWords)
p0Denom = 2.0; p1Denom = 2.0#p0Denom = 0.0; p1Denom = 0.0

这里使用了拉普拉斯平滑，在计算多个概率乘积时如，如果其中一个概率为0，那么最后乘积也为0，这明显是不合理的。为降低这种影响，可以将所有词的出现次数初始化为1，并将分母初始化为2。

将文档向量组合为trainMat矩阵，并计算p0V、p1V、pAb，结果如图所示：

trainMat = []
for postinDoc in listOPosts:
    trainMat.append(setOfWords2Vec(myVocabList,postinDoc))
p0V,p1V,pAb=trainNB0(trainMat,listClasses)

 根据贝叶斯决策理论进行类别的判别，这里取自然对数后，原本的概率相乘变为了数值相加

def classifyNB(vec2Classify,p0Vec,p1Vec,pClass1):
    p1 = sum(vec2Classify * p1Vec) + log(pClass1)#取自然对数后相乘变相加
    p0 = sum(vec2Classify * p0Vec) + log(1.0 - pClass1)
    if p1>p0:
        return 1
    else:
        return 0

 最后对分类效果进行验证

def testingNB():
    listOPosts,listClasses = loadDataSet()
    myVocabList = creatVocabList(listOPosts)
    trainMat = []
    for postinDoc in listOPosts:
        trainMat.append(setOfWords2Vec(myVocabList,postinDoc))
    p0V,p1V,pAb=trainNB0(array(trainMat),array(listClasses))
    testEntry = ['love', 'my', 'dalmation']#sample1
    thisDoc = array(setOfWords2Vec(myVocabList, testEntry))
    if classifyNB(thisDoc,p0V,p1V,pAb):
        print(testEntry,'含侮辱词汇')
    else:
        print(testEntry,'不含侮辱词汇')
    testEntry = ['stupid', 'garbage']#sample2
    thisDoc = array(setOfWords2Vec(myVocabList, testEntry))
    if classifyNB(thisDoc,p0V,p1V,pAb):
        print(testEntry,'含侮辱词汇')
    else:
        print(testEntry,'不含侮辱词汇')

结果如图所示