朴素贝叶斯

朴素贝叶斯算法：
是有监督的学习算法，解决的是分类问题，如客户是否流失、是否值得投资、信用等级评定等多分类问题。该算法的优点在于简单易懂、学习效率高、在某些领域的分类问题中能够与决策树、神经网络相媲美。但由于该算法以自变量之间的独立（条件特征独立）性和连续变量的正态性假设为前提，就会导致算法精度在某种程度上受影响。

朴素贝叶斯是贝叶斯决策理论的一部分，所以在讲述朴素贝叶斯之前有必要快速了解一下贝叶斯决策理论。

朴素贝叶斯推断的一些优点：
1 生成式模型，通过计算概率来进行分类，可以用来处理多分类问题
2 对小规模的数据表现很好，适合多分类任务，适合增量式训练，算法也比较简单

朴素贝叶斯推断的一些缺点：
1 对输入数据的表达形式很敏感
2 由于朴素贝叶斯的“朴素”特点，所以会带来一些准确率上的损失
3 需要计算先验概率，分类决策存在错误率

朴素贝叶斯决策的核心思想是 ： 选择高概率对应的类别

条件概率的计算公式：
P(gray|bucketB)=P(gray and bucketB)/P(bucketB)

另一种有效计算条件概率的方法为贝叶斯准则

p(c|x)=p(x|c)p©/p(x)

使用条件概率来分类：
应用贝叶斯准则得到：
p(ci|x,y)=p(x,y|ci)p(ci)/p(x,y)
使用这些定义可以定义贝叶斯分类准则为：
如果P(c1|x,y)>P(c2|x,y)，那么属于类别c1
如果P(c1|x,y)<P(c2|x,y)，那么属于类别c2

接下来是代码实现

1将文本中构建词向量：

from numpy import *

def loadDataSet():
    postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
                 ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
                 ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
                 ['stop', 'posting', 'stupid', 'worthless', 'garbage'],
                 ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
                 ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]
    classVec = [0,1,0,1,0,1]   
    return postingList,classVec

def createVocabList(dataSet):
    vocabSet = set([])  #create empty set
    for document in dataSet:
        vocabSet = vocabSet | set(document) #union of the two sets
    return list(vocabSet)

def setOfWords2Vec(vocabList, inputSet):
    returnVec = [0]*len(vocabList)
    for word in inputSet:
        if word in vocabList:
            returnVec[vocabList.index(word)] = 1
        else: print ("the word: %s is not in my Vocabulary!") % word
    return returnVec

得到结果如下：

>>> import bayes
>>> listOPosts,listClasses=bayes.loadDataSet()
>>> myVocabList=bayes.createVocabList(listOPosts)
>>> myVocabList
['has', 'maybe', 'him', 'park', 'so', 'is', 'how', 'licks', 'steak', 'help', 'my', 'take', 'cute', 'dalmation', 'problems', 'food', 'flea', 'not', 'I', 'mr', 'posting', 'garbage', 'dog', 'stop', 'buying', 'love', 'quit', 'ate', 'please', 'worthless', 'stupid', 'to']
>>> bayes.setOfWords2Vec(myVocabList,listOPosts[0])
[1, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 0, 0, 0, 1, 0, 1, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 1, 0, 0, 0]
>>> bayes.setOfWords2Vec(myVocabList,listOPosts[3])
[0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 0, 1, 0, 0, 0, 0, 0,