机器学习（三）：朴素贝叶斯分类算法

算法介绍

贝叶斯方法
贝叶斯方法是以贝叶斯原理为基础，使用概率统计的知识对样本数据集进行分类。由于其有着坚实的数学基础，叶斯分类算法的误判率是很低的。贝叶斯方法的特点是结合先验概率和后验概率，即避免了只使用先验概率的主管偏见，也避免了单独使用样本信息的过拟合现象。贝叶斯分类算法在数据集较大的情况下表现出较高的准确率，同时算法本身也比较简单。 [2]
朴素贝叶斯算法
朴素贝叶斯算法（Naive Bayesian) 是应用最为广泛的分类算法之一。
朴素贝叶斯方法是在贝叶斯算法的基础上进行了相应的简化，即假定给定目标值时属性之间相互条件独立。也就是说没有哪个属性变量对于决策结果来说占有着较大的比重，也没有哪个属性变量对于决策结果占有着较小的比重。虽然这个简化方式在一定程度上降低了贝叶斯分类算法的分类效果，但是在实际的应用场景中，极大地简化了贝叶斯方法的复杂性

算法原理

假设现在有一个装了7块石头的罐子，其中3块是灰色的，4块是黑色的（如图4-2所示)。如果从罐子中随机取出一块石头，那么是灰色石头的可能性是多少？由于取石头有7种可能，其中3种为灰色，所以取出灰色石头的概率为3/7。那么取到黑色石头的概率又是多少呢？很显然，是4/7。我们使用P(gray)来表示取到灰色石头的概率，其概率值可以通过灰色石头数目除以总的石头数目来得到。

这7块石头如上图所示放在两个桶中，那么上述概率应该如何计呢

要计算P(gray)或者P(black）,事先得知道石头所在桶的信息会不会改变结果？你有可能
巳经想到计算从B桶中取到灰色石头的概率的办法，这就是所谓的条件概率（conditional
probability)。假定计算的是从8桶取到灰色石头的概率，这个概率可以记作P(gray|bucketB),
我们称之为“在巳知石头出自B桶的条件下，取出灰色这就是所谓的条件概率（conditional
probability)。不难得到， P(gray|bucketA)值为2/4，P(gray|bucketB)的值为1/3。
条件概率的计算公式如下所示:
P(gray|bucketB) = p(gray and bucketB ) / P( bucketB )
我们来看看上述公式是否合理。首先,用B桶中灰色石头的个数除以两个桶中总的石头数，
得到P(gray and bucketB) = 1/7 。其次，由于8桶中有3块石头，而总石头数为7 ,于是
P (bucketB) 等于3/7 于是有 (gray | bucketB) = P(gray and bucketB) /P(bucketB)=
(1/7) / (3/7) = 1/3。这个公式虽然对于这个简单例子来说有点复杂，但当存在更多特征时
是非常有效的。用代数方法计算条件概率时，该公式也很有用。
另一种有效计算条件概率的方法称为贝叶斯准则。贝叶斯准则告诉我们如何交换条件概率中
的条件与结果，即如果巳知P(x|c),要求P(c|x) ，那么可以使用下面的计算方法：

$$P(c|x)=\frac{P(x|c)P(c)}{P(x)}$$

算法示例

使用贝叶斯实现文本分类问题。对此问题建立两个类别：侮辱类和非侮辱类’使用1和0分别表示

加载文本数据

def loadDataSet():
    postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
                 ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
                 ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
                 ['stop', 'posting', 'stupid', 'worthless', 'garbage'],
                 ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
                 ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]
    classVec = [0,1,0,1,0,1]    #1 is abusive, 0 not
    return postingList,classVec

创建空集

def createVocabList(dataSet):
    vocabSet = set([])  #create empty set
    for document in dataSet:
        vocabSet = vocabSet | set(document) #union of the two sets
    return list(vocabSet)

生成文档向量，向量的每一项为0或者1，分别表示单词在文档中是否出现

def setOfWords2Vec(vocabList, inputSet):
    returnVec = [0]*len()
    for word in inputSet:
        if word in vocabList:
            returnVec[vocabList.index(word)] = 1
        else: print "the word: %s is not in my Vocabulary!" % word
    return returnVec

实现分类功能

def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1):
    p1 = sum(vec2Classify * p1Vec) + log(pClass1)    #element-wise mult
    p0 = sum(vec2Classify * p0Vec) + log(1.0 - pClass1)
    if p1 > p0:
        return 1
    else: 
        return 0

测试代码

def trainNB(trainMatrix,trainCategory):
    numTrainDocs = len(trainMatrix)
    numWords = len(trainMatrix[0])
    pAbusive = sum(trainCategory)/float(numTrainDocs)
    p0Num = ones(numWords); p1Num = ones(numWords)      #change to ones() 
    p0Denom = 2.0; p1Denom = 2.0                        #change to 2.0
    for i in range(numTrainDocs):
        if trainCategory[i] == 1:
            p1Num += trainMatrix[i]
            p1Denom += sum(trainMatrix[i])
        else:
            p0Num += trainMatrix[i]
            p0Denom += sum(trainMatrix[i])
    p1Vect = log(p1Num/p1Denom)          #change to log()
    p0Vect = log(p0Num/p0Denom)          #change to log()
    return p0Vect,p1Vect,pAbusive
if __name__ == '__main__':
	trainNB

输出结果

['love', 'my', 'dalmation'] classified as:  0
['stupid', 'garbage'] classified as:  1

总结