朴素贝叶斯分类-NB算法

今天学习NB（nave Bayes）算法.看看此算法是不是真NB。
朴素贝叶斯法基于两点：

• 朴素贝叶斯定理
• 特征条件独立假设(强假设，实际情况不是这样)

1.学习方法及分类方法

1.1 NB基本算法流程

已知输入:

含有$N$个样本的训练集，$T=\{{(\vec{x}^{(1)},y^{(1)}),(\vec{x}^{(2)},y^{(2)}).....,(\vec{x}^{(N)},y^{(N)})}\}$，其中特征向量$\vec{x}^{(i)}=(x^{(i)}_1,x^{(i)}_2,....,x^{(i)}_n)^T$,$x^{(i)}_j$表示第$i$个样本的第$j$维特征，$x_j\in\{a_{j1},a_{j2}...,a_{jS_j}\}$,其中，$a_{jl}$为第$j$维特征中第$l$个可能取值，$S_j$为第$j$维特征可能取值的个数，$j=1,2,3...,n,l=1,2,...,S_j,y^{(i)}\in{c_1,c2,...c_K}$;实例$\vec{x}$;
输出： $\vec{x}$的类别$y$

• 计算先验概率及条件概率
  先验概率： $$P(Y=c_k)=\frac{\sum_{i=1}^{N}I(y^{(i)}=c_k)}{N},k=1,2,...,K$$ 每一维上的条件概率：
  $$P(X_j=a_{jl}|Y=c_k)=\frac{\sum_{i=1}^{N}I(x_j^{(i)}=a_{jl},y^{(i)}=c_k)}{\sum_{i=1}^{N}I(y_i=c_k)}$$ 需要计算总的概率参数个数为： $K*\sum_{j}S_j$
  • 对于待分类特征值$\vec{x}=(x_1,x_2,...x_n)^T$,分别计算：
    $$P(Y=c_k)\prod_{j=1}^{n}P(x_j=a_{jl}|Y=c_k),k=1,2,...K$$
  • 求最大值下的类别
    $$y=arg\: max_{c_k}P(Y=c_k)\prod_{j=1}^{n}P(x_j=a_{jl}|Y=c_k)$$

  • 1.2 贝叶斯平滑

    以上条件概率和先验概率估计通过最大似然估计得出，其中会出现概率为0的情况，此时会影响到后验概率的计算结果。解决此问题的方法可采用贝叶斯估计。
    条件概率的贝叶斯估计为：

    $$P_{\lambda }(X_j=a_{jl}|Y=c_k)=\frac{\sum_{i=1}^{N}I(x_j^{(i)}=a_{jl},y^{(i)}=c_k)+\lambda }{\sum_{i=1}^{N}I(y_i=c_k)+\lambda S_j}$$ 其中， $\lambda \geqslant0$,当 $\lambda =0$时，为最大似然估计，当 $\lambda =1$时， 这时称为拉普拉斯平滑，显然此式子满足概率条件。
    先验概率的拉普拉斯平滑公式为：
    $$P(Y=c_k)=\frac{\sum_{i=1}^{N}I(y^{(i)}=c_k)+\lambda}{N+\lambda K}$$

    1.3 代码实验

    《机器学习实战》中，文本分类，主要流程为：

    • 根据大量样本文本，提取字符向量列表（类似于特征提取）
    • 训练过程：（1）计算先验概率（2）计算字符特征向量列表中每个单词的条件概率，即出现频率
    • 测试过程：将待测试文本转换为特征向量列表，然后计算后验概率。

    from numpy import *
    
    def loadDataSet():
        postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
                     ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
                     ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
                     ['stop', 'posting', 'stupid', 'worthless', 'garbage'],
                     ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
                     ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]
        classVec = [0,1,0,1,0,1]    #1 is abusive, 0 not
        return postingList,classVec
    
     #根据训练样本提取特征向量                
    def createVocabList(dataSet):
        vocabSet = set([])  #create empty set
        for document in dataSet:
            vocabSet = vocabSet | set(document) #union of the two sets
        return list(vocabSet)
    
    #将文本集转换为标准特征向量
    def setOfWords2Vec(vocabList, inputSet):
        returnVec = [0]*len(vocabList)
        for word in inputSet:
            if word in vocabList:
                returnVec[vocabList.index(word)] = 1
            else: print "the word: %s is not in my Vocabulary!" % word
        return returnVec
    #分类训练，计算先验概率和条件概率
    def trainNB0(trainMatrix,trainCategory):
        numTrainDocs = len(trainMatrix)
        numWords = len(trainMatrix[0])
        pAbusive = sum(trainCategory)/float(numTrainDocs)
        p0Num = ones(numWords); p1Num = ones(numWords)      #change to ones() 
        p0Denom = 2.0; p1Denom = 2.0                        #change to 2.0
        for i in range(numTrainDocs):
            if trainCategory[i] == 1:
                p1Num += trainMatrix[i]
                p1Denom += sum(trainMatrix[i])
            else:
                p0Num += trainMatrix[i]
                p0Denom += sum(trainMatrix[i])
        p1Vect = log(p1Num/p1Denom)          #change to log()
        p0Vect = log(p0Num/p0Denom)          #change to log()
        return p0Vect,p1Vect,pAbusive
    #预测
    def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1):
        p1 = sum(vec2Classify * p1Vec) + log(pClass1)    #element-wise mult
        p0 = sum(vec2Classify * p0Vec) + log(1.0 - pClass1)
        if p1 > p0:
            return 1
        else: 
            return 0