使用朴素贝叶斯过滤屏蔽侮辱性的言论python代码

以社区留言为例。

为了不影响社区的发展，我们要屏蔽侮辱性的言论，所以要构建一个快速过滤器，如果某条留言使用了负面或者侮辱性的语言，那么就讲该留言标识为内容不当，过滤这类内容是很常见的需求，对此问题，我们可以建立两个类别：侮辱类和非侮辱类，我们也分别用数字1和0表示。

准备数据：从文本中构建向量：
我们将文本看成单词向量或者是词条向量（一个词条是字符的任意组合，可以把词条想象为单词，也可以使用非单词的词条，如url，ip地址，或者其他任意的字符串），也就是说将句子转为向量。考虑出现在所有文档中的单词，再决定将哪些词纳入词汇表或者说词汇集合，然后将每一篇文档转换为词汇表上的向量。

python代码：

from numpy import *
def loadDataSet():#创建实验的样本
    postingList = [['my','dog','has','flea',\
                    'problems','help','please'],
                   ['maybe','not','take','him',\
                    'to','dog','park','stupid'],
                   ['my','dalmation','is','so','cute',\
                    'I','love','him'],
                   ['stop','posting','stupid','worthless','garbage'],
                   ['mr','licks','ate','my','steak','how',\
                    'to','stop','him'],
                   ['quit','buying','worthless','dog','food','stupid']]
    #切分完成的词条
    classVec = [0,1,0,1,0,1]
    #类别标签向量
    return postingList,classVec

def createVocabList(dataSet):
    #将实验样本词条整理成不重复的词条列表，即词汇表
    vocabSet = set([])
    #创建一个空的不重复的集合
    for document in dataSet:
        vocabSet = vocabSet | set(document)
        #取并集(document用set保证词条里单词不重复，取并集保证两者结合也没有重复的单词)
    return list(vocabSet)
#以列表的形式返回词条列表

def setOfWords2Vec(vocabList,inputSet):
    #根据词汇表，对实验样本(inputSet)向量化
    returnVec = [0]*len(vocabList)
    #创建一个与词汇表同等大小的零向量
    for word in inputSet:
        if word in vocabList:
            returnVec[vocabList.index(word)] = 1
        #如果单词出现在词汇表中，则在词汇表中搜索其位置
        #同时置为1
        else:
            print("the word :%s is not in mu vocabulary!"%word)
    return returnVec
    #返回文档向量
def trainNBO(trainMatrix,trainCategory):
    #朴素贝叶斯分类器训练函数
    #参数为文档矩阵（即setOfWords2Vec返回的矩阵向量）和类标签向量
    numTrainDocs = len(trainMatrix)
    #统计训练文档的数目
    numWords = len(trainMatrix[0])
    #统计每个文档的词条数
    pAbusive = sum(trainCategory)/float(numTrainDocs)
    #sum没有参数表示全部相加，实质上就是统计为1的数量（即侮辱性文档的数量）
    #除以文档总数，算出概率（即P(ci))
    p0Num = zeros(numWords)
    # #创建一维零数组，长度与每个文档的词条数相同
    p1Num = zeros(numWords)
    # #创建一维零数组，长度与每个文档的词条数相同
    p0Denom = 0.0
    p1Denom = 0.0
    #分母初始化为0
    for i in range(numTrainDocs):
        #遍历统计数据（即P(W0|C1),P(W1|C1)...)
        if trainCategory[i] == 1:
            #如果类别为侮辱性的
            p1Num += trainMatrix[i]
            #对应的单词的数加一
            p1Denom += sum(trainMatrix[i])
            #文档中出现的单词数全部统计相加
        else:#类别是非侮辱性的,遍历统计数据（即P(W0|C2),P(W1|C2)...)
            p0Num +=trainMatrix[i]
            #对应的单词数加一
            p0Denom += sum(trainMatrix[i])
            # 文档中出现的单词数全部统计相加
    p1Vect = p1Num/p1Denom
    p0Vect = p0Num/p0Denom
    #计算数据，即单词在侮辱性和非侮辱性文档中的出现的概率(p(w|ci))
    return p0Vect,p1Vect,pAbusive
    #返回属于非侮辱性文档的条件概率，属于侮辱性文档的条件概率和文档属于侮辱类的概率

def classifyNB(vec2Classify,p0Vec,p1Vec,pClass1):
    #朴素贝叶斯分类函数，参数是待分类的词条，非侮辱类的条件概率
    #侮辱类的条件概率，文档属于侮辱类的概率
    p1 = sum(vec2Classify * p1Vec) + log(pClass1)
    #计算属于侮辱类的概率
    p0 = sum(vec2Classify * p0Vec) + log(1.0-pClass1)
    #计算属于非侮辱类的概率
    if p1 > p0:
        return 1
    else:
        return 0

def testingNB():#测试函数
    listOPosts,listClasses = loadDataSet()
    #创建实验样本
    myVocabList = createVocabList(listOPosts)
    #创建词汇表
    trainMat =[]
    for postinDoc in listOPosts:
        trainMat.append(setOfWords2Vec(myVocabList,postinDoc))
    #实验样本向量化并添加到列表中
    p0V,p1V,pAb = trainNBO(array(trainMat),array(listClasses))
    #训练朴素贝叶斯分类器
    testEntry = ['love','my','dalmation']
    #测试样本
    thisDoc =  array(setOfWords2Vec(myVocabList,testEntry))
    if classifyNB(thisDoc,p0V,p1V,pAb):
        print(testEntry,'属于侮辱类')
    else:
        print(testEntry,'属于非侮辱类')
    testEntry = ['stupid','garbage']
    thisDoc = array(setOfWords2Vec(myVocabList, testEntry))
    if classifyNB(thisDoc,p0V,p1V,pAb):
        print(testEntry,'属于侮辱类')
    else:
        print(testEntry,'属于非侮辱类')


if __name__=='__main__':
    # listOPosts,listClasses = loadDataSet()
    # myVocabList = createVocabList(listOPosts)
    # print(myVocabList)
    # trainMat = []
    # for postinDoc in listOPosts:#遍历每一个词条
    #     trainMat.append(setOfWords2Vec(myVocabList,postinDoc))
    #     #将转换的词条向量加入到列表中
    # p0V,p1V,pAb = trainNBO(trainMat,listClasses)
    # print(pAb)
    # print(p0V)
    # print(p1V)
    testingNB()