机器学习实战 朴素贝叶斯分类器 python3实现

本文所有代码存储在bayes.py文件中，以便于代码测试和程序运行。

from numpy import *   def loadDataSet():     """ 功能：词表到向量的转换函数 输出：1.进行此条切分后的文档集合。2.类别标签的集合，这些文本类别由人工标注，这些标注信息用于训练程序以便自动检测侮辱性留言。     """     postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],                  ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],                  ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],                  ['stop', 'posting', 'stupid', 'worthless', 'garbage'],                  ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],                  ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]     classVec = [0,1,0,1,0,1]     return postingList,classVec   def createVocabList(dataSet):     """     功能：创建一个包含在所有文档中出现的不重复词的列表     """     vocabSet = set([])  #创建一个空集，将每篇文档返回的新词添加到该集合中     for document in dataSet:         vocabSet = vocabSet | set(document) #输入词条列表返回不重复的词表.操作符|用于求两个集合的并集。     return list(vocabSet)   def setOfWords2Vec(vocabList, inputSet):     """     输入：词汇表及某个文档     输出：文档向量，向量的每一个元素为1或0，分别表示词汇表中的单词在输入文档中是否出现。     """     returnVec = [0]*len(vocabList)  #创建一个和词汇表等长的向量，并将其元素都设为0。     for word in inputSet:  #遍历文档中的所有词，如果出现词汇表中的词则将输出文档向量中的对应值设为1.         if word in vocabList:             returnVec[vocabList.index(word)] = 1         else: print("the word: %s is not in my Vocabulary!" % word) return returnVec

代码测试：

import bayes listOPosts,listClass =  bayes.loadDataSet() myVocabList = bayes.createVocabList(listOPosts) print(myVocabList) print(bayes.setOfWords2Vec(myVocabList,listOPosts[0])) print(bayes.setOfWords2Vec(myVocabList,listOPosts[3])

结果：

['to', 'problems', 'maybe', 'ate', 'my', 'love', 'dog', 'take', 'so', 'I', 'quit', 'food', 'park', 'licks', 'help', 'worthless', 'stupid', 'flea', 'how', 'buying', 'has', 'him', 'posting', 'garbage', 'mr', 'dalmation', 'is', 'cute', 'stop', 'steak', 'please', 'not']

检查上述词表，就会发现这里不会出现重复的单词。

[0, 0, 1, 0, 1, 0, 0, 0, 0, 0, 1, 0, 1, 0, 0, 1, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 1, 0, 0, 0]

myVocabList中的单词出现在postingList第一列的则为1，未出现的则为零。

[0, 0, 0, 0, 0, 0, 1, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 1, 1, 0, 0, 0, 0, 0, 0]

myVocabList中的单词出现在postingList第四列的则为1，未出现的则为零。

通过检验，可以发现函数运行正确。

朴素贝叶斯分类器训练函数：

伪代码：

计算每个类别中的文档数目

对每篇训练文档：

对每个类别：

如果词条出现在文档中—>增加该词条的计数值

增加所有词条的计数值

对每个类别：

对每个词条:

将该词条数目除以总词条数目得到条件概率

返回每个类别的条件概率

 

def trainNB0(trainMatrix,trainCategory):     """     输入：1.文档矩阵；2.每篇文档类别标签所构成的向量     输出：两个向量和一个概率     """     numTrainDocs = len(trainMatrix)     numWords = len(trainMatrix[0])     pAbusive = sum(trainCategory)/float(numTrainDocs)     p0Num = ones(numWords); p1Num = ones(numWords) p0Denom = 2.0; p1Denom = 2.0</