机器学习实战（三）——NaiveBayes朴素贝叶斯算法邮件分类

朴素贝叶斯分类的原理是条件概率的计算：
在已知先验概率的条件下，计算后验概率，后验概率即是在当前数据条件下属于分类1或者分类2 的概率，取概率较大的一个为输出。
贝叶斯准则很熟悉了，不解释了，但在这个算法中引入了一个很重要的思想：将文本等数据对象转化为向量格式进行计算。
其中包含了：1、正则表达式的运用，python中re库的运用
2、留存交叉验证：将样本一部分用作训练，一部分用作测试，当将训练组和测试组随机进行划分时，多次进行测试取平均值可以对算法的性能进行很好的评估。

# -*- coding: utf-8 -*-
############
#classifyNB
#classify the posts into two classes

from numpy import *
import os
import math
import operator
#最重要的思想；将词汇转变为向量；首先将所有出现的词汇纳入一个集合中，创建与集合相对应的一个向量
#系数相等的元素分别表示该词汇和该词汇出现的次数
def createVocabList(docList):
    vocabList= set([])
    for doc in docList:
        vocabList=vocabList|set(doc)
    return vocabList

#词袋模型：首先将训练样本中所有出现的词生成一个集合（词汇表），对输入的文本中包含在词汇表中
#的元素统计其出现的次数，生成一个长度为词汇表长度的向量，该向量方便计算各个词汇出现的概率
#与词袋模型对应的是词集模型，生成的词向量只有0和1，表征该词汇在文本中是否出现过
def bagsOfWords2Vec(vocabList,inputSet):
    vecVocab=zeros(len(vocabList))
    for word in inputSet:
        if word in vocabList:
            vecVocab[list(vocabList).index(word)]+=1
        else:
            print 'the word %s is not in the vocablist' %word

    return vecVocab

#####trainNB()计算导入的训练矩阵中，各个先验概率的大小；注意为了防止下溢出，用log，
#此时将所有词汇出现的次数初始化为1，将p1，p0情况下的词汇总个数初始化为2，防止log中出现
#0或者分母为0 的情况
def trainNB(trainMat,classList):
    numWordP0=ones(len(trainMat[0]))
    numWordP1=ones(len(trainMat[0]))
    wordP0=0.0;wordP1=0.0
    numWord=sum(trainMat,0)
    numP1=2.0
    numP0=2.0
    P1=sum(classList)/float(len(trainMat))
    #P0=1-P1
    for i in xrange(len(trainMat)):
        if classList[i]==1:
            #numWordP1+=trainMat[i]
            numWordP1=numWordP1+trainMat[i]
            numP1=numP1+sum(trainMat[i])
        else:
            #numWordP0+=trainMat[i]
            numWordP0=numWordP0+trainMat[i]
            numP0=numP0+sum(trainMat[i])
    wordP0=log(numWordP0/numP0)    
    wordP1=log(numWordP1/numP1)              
    return wordP0,wordP1,P1

def classifyNB(wordVector,p0,p1,pSpam):
    p0=sum(wordVector*p0)+log(1.0-pSpam)
    p1=sum(wordVector*p1)+log(pSpam)

    if p0>p1:
        return 0
    else:return 1
#################
#文本处理：1.正则表达式，在文末给出正则表达式学习的链接；2.大小写转换str.lower
def textParse(bigString):
    import re
    listOfToken=re.split(r'\W*',bigString)
    return [tok.lower() for tok in listOfToken if len(tok)>2]

###交叉验证，用样本自身的一部分进行训练。另一部分进行测试
def spamTest():
    docList=[];classList=[];fullText=[]
    for i in xrange(1,26):
        wordList=textParse(open('/home/lvsolo/python/naiveBayes/spam/%d.txt'%i).read())
        docList.append(wordList)
        fullText.extend(wordList)
        classList.append(1)
        wordList=textParse(open('/home/lvsolo/python/naiveBayes/ham/%d.txt'%i).read())
        docList.append(wordList)
        fullText.extend(wordList)
        classList.append(0)
###建立总的词汇表
    vocabList=createVocabList(docList)

###将samples重新随机分为training组和test组进行交叉验证
    trainingSet=range(50);testSet=[]

    for i in xrange(10):
        testInx=int(random.uniform(0,len(trainingSet)))
        testSet.append(trainingSet[testInx])
        del(trainingSet[testInx])

    trainMat=[];trainClasses=[]
    for docInx in trainingSet:
        trainMat.append(bagsOfWords2Vec(vocabList,docList[docInx]))
        trainClasses.append(classList[docInx])
    p0,p1,pAbusive=trainNB(array(trainMat),array(trainClasses))
    pError=0.0
    for docInx in testSet:
        wordVector= bagsOfWords2Vec(vocabList,docList[docInx])
        if classifyNB(wordVector,p0,p1,pAbusive)!=classList[docInx]:
            pError+=1
    #print 'the error rate is %s'%(float(pError)/len(testSet))
    return float(pError)/len(testSet)

python正则表达式：
http://www.cnblogs.com/huxi/archive/2010/07/04/1771073.html

DEEPLEARNING资源软件：
http://www.sigvc.org/bbs/thread-557-1-1.html