朴素贝叶斯基本原理

1 贝叶斯：

思想：
知道结果反推原因。
例子：
有1、2、3号工厂，并且没个厂房生产出次品的概率分别为：0.1、0.2、0.3
求出现的次品是由3号工厂所生产的概率

解：
设：事件B为出现次品，事件A1、A2、A3分布代表1、2、3号工厂生产次品
P（A3|B）（注：这里计算的条件概率就是已经知道结果为出现次品了，所以就是求在出现次品的条件下，次品来自3号工厂的概率） = P(A3*B)/P(B)
P(B) = P(A1)*P(B|A1)+P(A2)*P(B|A2)+P(A3)P(B|A3)
P(A3B) = P(A3|B)*P(A3)
根据以上公式可以求得概率。

2 朴素贝叶斯要求：

每个特征与特征之间是相互独立的。
例子：




注：图片来源
（https://blog.csdn.net/c406495762/article/details/77341116）

3 实例：句子过滤器：

作用：传入一个分割过的句子，判断是否为带有侮辱性词语的句子。

思路：

1. 首先先创建要使用的数据集，以及对每句是否带有侮辱性词汇的判断，0为无，1为有。

import numpy as np
from functools import reduce
def loadDataSet():
    postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],                #切分的词条
                 ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
                 ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
                 ['stop', 'posting', 'stupid', 'worthless', 'garbage'],
                 ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
                 ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]
    classVec = [0,1,0,1,0,1]                                                                   #类别标签向量，1代表侮辱性词汇，0代表不是
    return postingList,classVec

2. 排除句子中重复出现的词语然后返回一个词汇列表

def WordsList(dataset):
    words_list = set([]) #创建一个不可重复的集合
    for each_sentence in dataset: #遍历每一句
        words_list = words_list | set(each_sentence) #取并集
    return list(words_list)#返回一个列表

3. 创建一个转换器，讲出现的文字在WordsList中对应的位置标注为1，没出现的标注为0，每一句都这么做返回一个列表

def Encoder(input_line,words_list):
    code_list = [0] * len(words_list) 
    #创建一个和words_list一样长的列表，初始化所有值为0
    for each in input_line: #遍历每一句的每一个词
        if each in words_list: 
            code_list[words_list.index(each)] =1 #这个词在words_lisr中，那么就在对应的位置显示1
        else:
            print('%s不在总词汇表当中' % each)
    return code_list

运行上面三个程序

postingList,classVec = loadDataSet()
words_list = WordsList(postingList)
print(words_list)
trans_list = []
for each_line in postingList:
    line = Encoder(each_line ,words_list)
    trans_list.append(line)
print(trans_list)

结果为：

4. 创建一个训练函数：

def Trainer(trans_list,classVec): 
    """用来得出每个字的条件概率
    Params:
        trans_list是转码后的字分布列表
        classVec是每个句子的类别列表
    return 侮辱性句子中每个字的条件概率，非侮辱性句子中每个字的条件概率，侮辱性句子的概率"""
    numSentences = len(trans_list) #计算出要遍历句子的数量
    numBad = sum(classVec) #算出出现侮辱性句子的总数
    numWords = len(trans_list[0]) #words_list的长度
    pAbusive = numBad / numSentences #求出出现侮辱性句子的概率
    p0list = np.zeros(numWords) #初始化一个非侮辱的列表
    p1list = np.zeros(numWords)
    p0Denom = 0.0 #初始化分母
    p1Denom = 0.0
    for class_ in range(numSentences): #进入遍历
        if classVec[class_] == 1: #如果是侮辱性的句子进入下面的这个循环
            p1list += trans_list[class_] #统计每个字出现的频率
            p1Denom += sum(trans_list[class_])
        else:
            p0list += trans_list[class_]
            p0Denom += sum(trans_list[class_])
    p0Vec = p0list / p0Denom
    p1Vec = p1list / p1Denom
    return p0Vec,p1Vec,pAbusive
p0Vec,p1Vec,pAbusive = Trainer(trans_list,classVec)
print(p0Vec)
print(p1Vec)
print(words_list)

结果：
拿p0Vec[0]的值为例：这个值表示的是在为非侮辱条件下has出现的概率，即P(has|非侮辱)，所以还差一个判断函数。

6. 判断：

def Classify(p0Vec,p1Vec,pAbusive,Test_sentence):
    """计算贝叶斯的分子比较大小
    Params:
        p0Vec:非侮辱性句子当中每个字出现的条件概率
        p1Vec:侮辱性句子当中每个字出现的条件概率
        pAbusive:出现侮辱性句子的概率
        Test_sentence：输入的文字"""
    trans_sentence = Encoder(Test_sentence,words_list) #首先对文字进行转码
    p0 = reduce(lambda x,y:x*y,p0Vec * trans_sentence) * (1-pAbusive) 
    #reduce函数的功能为：按照前面的函数对列表中的值依此运算，这里reduce就是求独立的条件概率的乘积，本意是：P(has|非侮辱)*P（is|非侮辱）*P(非侮辱)
    p1 = reduce(lambda x,y:x*y,p1Vec*trans_sentence) * pAbusive
    if p1>p0: #通过比较大小就可判断
        print('该句带有侮辱性词汇')
    elif p1<p0:
        print('该句为非侮辱语句')
    else:
        print('抱歉，出现bug，暂时无法识别...')
#但是问题在于，这样用reduce来运算，只要有输入的句子中没有把所有的词汇包含进去，就会存在0，所以最后的结果都是0，无法判断。。。这个下次写解决