贝叶斯邮件分类c语言,【实现】利用朴素贝叶斯进行邮件分类

利用基于概率论的贝叶斯分类器，对收取的邮件【英文】进行分类。【简易版】

文本分类待续

1. 收集数据

收集的数据包含两类：垃圾邮件和正常邮件。每类中有25个样本。

数据集分类

邮件内容

2. 数据处理

1)要从文本中获取特征，需要拆分文本，分成词条。

2)获取数据字典

3)向量化处理，方便进行特征提取。

2.1 分词def textParse(bigString):

import re

listOfTokens = re.split(r'\W*',bigString)

return [tok.lower() for tok in listOfTokens if len(tok)>2]#取出掉长度过短的单词

\W: 非单词字符

2.2 获取数据字典def createVocabList(dataSet):

vocabSet = set()

for doc in dataSet:

vocabSet = vocabSet | set(doc)

return list(vocabSet)

vocabSet | set(doc)：相当于概率论中集合之间的并运算。

集合特点：无序；唯一。

2.3 向量化处理

向量化处理又分为两种情况：

1)词集模型：词集，顾名思义，就是一个集合。只关注token是否出现，并不关注出现的次数。

2)词袋模型：关注token的出现次数，有较好的处理结果。

词集模型：def setOfWords2Vec(vocabList, inputSet):

returnVec = [0]*len(vocabList)

for word in inputSet:

if word in vocabList:

returnVec[vocabList.index(word)] = 1

return returnVec

词袋模型：def bagOfWords2VecMN(vocabList, inputList):

returnVec = [0]*len(vocabList)

for word in inputList:

if word in vocabList:

returnVec[vocabList.index(word)] += 1

return returnVec

3. 训练模型

朴素贝叶斯是基于概率的分类器，其训练过程就是计算各个概率的过程。def trainNB0(trainMatrix, trainCategory):

numTrainDocs = len(trainMatrix)

numWords = len(trainMatrix[0])

pAbusive = sum(trainCategory)/float(len(trainCategory))

p0Sum = ones(numWords); p1Sum = ones(numWords)#0概率处理

p0Denom = 2.0; p1Denom = 2.0

for i in range(numTrainDocs):

if trainCategory[i] == 1:

p1Sum += trainMatrix[i]

p1Denom += sum(trainMatrix[i])#sum(trainMatrix[i])：文章i的词汇数

else:

p0Sum += trainMatrix[i]

p0Denom += sum(trainMatrix[i])

p1Vec = log(p1Sum/float(p1Denom))#下溢出处理

p0Vec = log(p0Sum/float(p0Denom))

return p1Vec, p0Vec, pAbusive

使用numpy.array来计算，方便、快捷。

4.测试分类器

基本分类器：def classifyNB(vec2Classify, p1Vec, p0Vec, pAbusive):

p1 = sum(vec2Classify * p1Vec) + log(pAbusive)

p0 = sum(vec2Classify * p0Vec) + log(1-pAbusive)

if p1 > p0:

return 1

else:

return 0

垃圾邮件测试程序:def spamTest():

docList = []; classList = []

for i in range(1,26):

bigString = open('email/spam/%d.txt' % i).read()#读取邮件内容

wordList = textParse(bigString)

docList.append(wordList)

classList.append(1)

bigString = open('email/ham/%d.txt' %i).read()

wordList = textParse(bigString)

docList.append(wordList)

classList.append(0)

vocabList = createVocabList(docList)

#划分训练集和测试集

trainSet = range(50); testSet = []#存储下标

for i in range(10):

randIndex = int(random.uniform(0,len(trainSet)))#产生一个随机数

testSet.append(trainSet[randIndex])

del trainSet[randIndex]

trainMat = []; trainClasses = []

for docIndex in trainSet:

trainMat.append(setOfWords2Vec(vocabList,docList[docIndex]))

trainClasses.append(classList[docIndex])

p1Vec, p0Vec, pSpam = trainNB0(trainMat,trainClasses)

errorCount = 0

for docIndex in testSet:

wordVec = setOfWords2Vec(vocabList,docList[docIndex])

predict = classifyNB(wordVec,p1Vec,p0Vec,pSpam)

if predict != classList[docIndex]:

errorCount += 1

errorRate = float(errorCount)/len(testSet)

print ("the error rate is %f" % errorRate)

return errorRate

使用误分率作为衡量分类器的数据指标。

由于测试集的生成是随机的，所以分类器误分率每次运行结果不一致。通过运行10次的平均值作为分类器的分类效果。

运行结果

5. 小结

1)贝叶斯概率及贝叶斯 准则提供了一种利用已知值来估计位置概率的有效方法；

2)朴素贝叶斯假设：数据特征之间相互独立。虽然该假设一般情况下，并不满足。但是！尽管不满足，使用朴素贝叶斯进行分类，仍然取得了很好的效果！！(很气......)

3)优点：在数据较少的情况下仍然有效，可以处理多类别问题；

4)缺点：对输入数据的准备方式较为敏感；

5)使用数据类型：标称型数据(就是名词性数据)

6)中文文本分类：之前做过一个大作业，就是关于中文文本分类，100万新闻语料，10个类别。

To Be Continued!!!

下午玩去：看看闻名已久的回音壁。

天坛