本文所有代码存储在bayes.py文件中,以便于代码测试和程序运行。
from numpy import *
def loadDataSet(): """ 功能:词表到向量的转换函数 输出:1.进行此条切分后的文档集合。2.类别标签的集合,这些文本类别由人工标注,这些标注信息用于训练程序以便自动检测侮辱性留言。 """ postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'], ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'], ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'], ['stop', 'posting', 'stupid', 'worthless', 'garbage'], ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'], ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']] classVec = [0,1,0,1,0,1] return postingList,classVec
def createVocabList(dataSet): """ 功能:创建一个包含在所有文档中出现的不重复词的列表 """ vocabSet = set([]) #创建一个空集,将每篇文档返回的新词添加到该集合中 for document in dataSet: vocabSet = vocabSet | set(document) #输入词条列表返回不重复的词表.操作符|用于求两个集合的并集。 return list(vocabSet)
def setOfWords2Vec(vocabList, inputSet): """ 输入:词汇表及某个文档 输出:文档向量,向量的每一个元素为1或0,分别表示词汇表中的单词在输入文档中是否出现。 """ returnVec = [0]*len(vocabList) #创建一个和词汇表等长的向量,并将其元素都设为0。 for word in inputSet: #遍历文档中的所有词,如果出现词汇表中的词则将输出文档向量中的对应值设为1. if word in vocabList: returnVec[vocabList.index(word)] = 1 else: print("the word: %s is not in my Vocabulary!" % word) return returnVec |
代码测试:
import bayes listOPosts,listClass = bayes.loadDataSet() myVocabList = bayes.createVocabList(listOPosts) print(myVocabList) print(bayes.setOfWords2Vec(myVocabList,listOPosts[0])) print(bayes.setOfWords2Vec(myVocabList,listOPosts[3]) |
['to', 'problems', 'maybe', 'ate', 'my', 'love', 'dog', 'take', 'so', 'I', 'quit', 'food', 'park', 'licks', 'help', 'worthless', 'stupid', 'flea', 'how', 'buying', 'has', 'him', 'posting', 'garbage', 'mr', 'dalmation', 'is', 'cute', 'stop', 'steak', 'please', 'not']
检查上述词表,就会发现这里不会出现重复的单词。
[0, 0, 1, 0, 1, 0, 0, 0, 0, 0, 1, 0, 1, 0, 0, 1, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 1, 0, 0, 0]
myVocabList中的单词出现在postingList第一列的则为1,未出现的则为零。
[0, 0, 0, 0, 0, 0, 1, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 1, 1, 0, 0, 0, 0, 0, 0]
myVocabList中的单词出现在postingList第四列的则为1,未出现的则为零。
通过检验,可以发现函数运行正确。
朴素贝叶斯分类器训练函数:
伪代码:
计算每个类别中的文档数目
对每篇训练文档:
对每个类别:
如果词条出现在文档中—>增加该词条的计数值
增加所有词条的计数值
对每个类别:
对每个词条:
将该词条数目除以总词条数目得到条件概率
返回每个类别的条件概率
def trainNB0(trainMatrix,trainCategory): """ 输入:1.文档矩阵;2.每篇文档类别标签所构成的向量 输出:两个向量和一个概率 """ numTrainDocs = len(trainMatrix) numWords = len(trainMatrix[0]) pAbusive = sum(trainCategory)/float(numTrainDocs) p0Num = ones(numWords); p1Num = ones(numWords) p0Denom = 2.0; p1Denom = 2.0</ |