第四章 朴素贝叶斯

#朴素贝叶斯
#GaussianNB：高斯分布(正态分布)的贝叶斯
import pandas as pd
from  sklearn.naive_bayes import GaussianNB #高斯贝叶斯
from sklearn.model_selection import train_test_split #切分训练集和测试集
from sklearn.metrics import accuracy_score #计算准确度

#导入数据集
from sklearn import datasets
iris=datasets.load_iris()
print(iris.data)
print(iris.target)

#切分数据集                                  数据      标签         随机种子
Xtrain,Xtest,ytrain,ytest=train_test_split(iris.data,iris.target,random_state=12)
#建模
clf=GaussianNB()
clf.fit(Xtrain,ytrain)

#在测试集上执行预测 proba导出的是每个样本属于某类的概率
print("类别:\n",clf.predict(Xtest))
print("概率:\n",clf.predict_proba(Xtest))

#测试一下准确率:
print("准确率:\n",accuracy_score(ytest,clf.predict(Xtest)))

#MultinomialNB 多项式分布的朴素贝叶斯
#BernoulliNB  伯努利的朴素贝叶斯

#如果样本特征的分布大部分是连续值，使用GaussianNB
#如果样本特征的分布大部分是多元离散值，使用MultionmialNB比较合适
#如果样本特征是二元离散值或者很稀疏的多元离散值，使用BernoulliNB

#-----------------------------------朴素贝叶斯之鸢尾花数据实验------------------------------
import numpy as np
import pandas as pd
import random

#导入鸢尾花数据集

dataSet=pd.read_csv('../MLinAction_source/iris.txt',header=None)
print(dataSet.head())

#随机切分训练集和测试集
#dataSet传入的是dataframe形式
def randSplit(dataSet,rate):
    l=list(dataSet.index)  #随机取出索引
    random.shuffle(l) #随机打乱索引
    dataSet.index=l #将打乱后的索引重新赋值给原数据集
    n=dataSet.shape[0] #总行数
    m=int(n*rate) #训练集的数量
    train=dataSet.loc[range(m),:] #提取前m个记录作为训练集
    test=dataSet.loc[range(m,n),:] #剩下的作为测试集
    dataSet.index=range(dataSet.shape[0]) #更新原数据集的索引
    test.index=range(test.shape[0]) #更新测试集的索引
    return train,test

train,test=randSplit(dataSet,0.8)

#构建朴素贝叶斯分类器
def gnb_classify(train,test):
    labels=train.iloc[:,-1].value_counts().index  #提取训练集的标签种类
    mean=[] #存放每个类别的均值
    std=[]  #存放每个类别的方差
    result=[] #存放测试集的预测结果
    for i in labels:
        item=train.loc[train.iloc[:,-1]==i,:] #分别提取出每一种类别
        m=item.iloc[:,:-1].mean() #当前类别的平均值
        s=np.sum((item.iloc[:,:-1]-m)**2)/(item.shape[0]) #当前类别的方差
        mean.append(m) #将当前类别的平均值追加至列表
        std.append(s) #将当前类别的方差追加至列表
    means=pd.DataFrame(mean,index=labels) #变成DF格式，索引为类标签
    stds=pd.DataFrame(std,index=labels) #变成DF格式，索引为类标签
    for j in range(test.shape[0]):
        iset=test.iloc[j,:-1].tolist()
        iprob=np.exp(-1*(iset-means)**2/(stds*2))/(np.sqrt(2*np.pi*stds)) #正态分布公式
        prob=1  #初始化当前实例总概率
        for k in range(test.shape[1]-1): #遍历每个特征
            prob*=iprob[k] #特征概率之积即为当前实列概率
            cla=prob.index[np.argmax(prob.values)] #返回最大概率类别
        result.append(cla)
    test['predict']=result  #在最后一列加入predict字段 存储预测的类别
    acc=(test.iloc[:,-1]==test.iloc[:,-2]).mean() #计算准确率  判断倒数第一列(预测的类别值)和倒数第二列(原先类别值)是否相等  然后求均值
    print(f'模型的准确率为{acc}')
    return test
gnb_classify(train,test)


#------------------------------使用朴素贝叶斯进行文档分类------------------
#创建实验数据集
'''
    返回: dataSet 切分好的样本词条
          classVec:类标签向量
'''
def loadDataSet():
    dataSet = [['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
               ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
               ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
               ['stop', 'posting', 'stupid', 'worthless', 'garbage'],
               ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
               ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]  # 切分好的词条
    classVec=[0,1,0,1,0,1]  #类别标签向量 1代表侮辱性词汇 0代表非侮辱性词汇
    return dataSet,classVec

dataSet,classVec=loadDataSet()

#构建词汇表
'''
    参数: dataSet:切分好的样本词条
    返回: vocabList:不重复的词汇表
'''
def createVocabLitst(dataSet):
    vocabSet=set() #创建一个空的集合 去重
    for doc in dataSet: #遍历dataSet中的每一条言论
        vocabSet=vocabSet|set(doc)  #取并集
        vocabList=list(vocabSet)
    return vocabList

vocabList=createVocabLitst(dataSet)
print("词汇表:\n",vocabList)

#获得训练集向量
#--生成词向量
'''
    根据vocabList词汇表，将inputSet向量化，向量的每个元素为1或0
    参数:
        vocabList:词汇表
        inputSet:切分好的词条列表中的一条
    返回:
        returnVec:文档向量,词集模型
'''
def setOfwords2vec(vocabList,inputSet):
    returnVec=[0]*len(vocabList)  #创建一个其中所含元素都为0的向量
    for word in inputSet: #遍历每个词条
        if word in vocabList: #如果词条存在于词汇表中，则变为1
            returnVec[vocabList.index(word)]=1
        else:
            print(f"{word} is not in my vocabulary!")
    return returnVec  #返回文档向量

#--所有词条向量列表
'''
    生成训练集向量列表
    参数: dataSet:切分好的样本词条
    返回: trainMat:所有的词条向量组成的列表
'''
def get_trainMat(dataSet):
    trainMat=[]  #初始化向量列表
    vocabList=createVocabLitst(dataSet) #生成词汇表
    for inputSet in dataSet: #遍历样本词条中的每一条样本
        returnVec=setOfwords2vec(vocabList,inputSet) #将当前词条向量化
        trainMat.append(returnVec) #追加到向量列表中
    return trainMat
trainMat=get_trainMat(dataSet)
print("trainMat:\n",trainMat)
#朴素贝叶斯分类器训练函数
'''
功能: 朴素贝叶斯分类器训练函数
参数说明:
    trainMat:训练文档矩阵
    classVec:训练类标签向量
返回值:
    p0v:非侮辱类的条件概率数组
    p1v:侮辱类的条件概率数组
    pab:文档属于侮辱类的概率
'''
def trainNB(trainMat,classVec):
    n=len(trainMat) #计算训练的文档数目
    m=len(trainMat[0]) #计算每篇文档的词条数
    pAb=sum(classVec)/n #文档属于侮辱类的概率
    # 不初始化为0的原因  在进行累乘的时候执行reduce()函数时  如果数值有一个是0则整个乘积为0 不合理
    #为了降低这种影响，可以将所有词的出现数初始化为1，并将分母初始化为2。这种做法就叫做拉普拉斯平滑(Laplace Smoothing)又被称为加1平滑，是比较常用的平滑方法，它就是为了解决0概率问题。
    p0Num=np.ones(m)  # 词条出现数初始化为1
    p1Num=np.ones(m) #词条出现初始化为1
    p0Denom=2 #分母初始化为2
    p1Denom=2 #分母初始化为2
    for i in range(n): #遍历每一个文档
        if classVec[i]==1: #统计属于侮辱类的条件概率所需的数据
            p1Num+=trainMat[i]
            p1Denom+=sum(trainMat[i])
        else:              #统计属于非侮辱类的条件概率所需的数据
            p0Num+=trainMat[i]
            p0Denom+=sum(trainMat[i])
    #下溢出，这是由于太多很小的数相乘造成的。我们在计算乘积时，由于大部分因子都很小，所以程序会下溢或者得不到正确答案。
    # 为了解决这个问题，对乘积结果取自然对数。通过求对数可以避免下溢出或者浮点数舍入导致的错误
    p1v=np.log(p1Num/p1Denom)
    p0v=np.log(p0Num/p0Denom)
    return p0v,p1v,pAb  #返回属于非侮辱类、侮辱类和文档属于侮辱类的概率

p0V,p1V,pAb=trainNB(trainMat,classVec)
print(p0V)

#测试朴素贝叶斯分类器
from functools import reduce
'''
函数功能: 朴素贝叶斯分类器分类函数
参数:
    vec2classify:待分类的词条数组
    p0v:非侮辱类的条件概率数组
    p1v:侮辱类的条件概率数组
    pAb:文档输入侮辱类的概率
返回:
    0:属于非侮辱类
    1:属于侮辱类
'''
def classifyNB(vec2Classify,p0v,p1v,pAb):
    # p1=reduce(lambda x,y:x*y,vec2Classify*p1v)*pAb  #对应元素相乘
    # p0=reduce(lambda x,y:x*y,vec2Classify*p0v)*(1-pAb)
    p1=sum(vec2Classify*p1v)+np.log(pAb) #对应元素相乘
    p0=sum(vec2Classify*p0v)+np.log(1-pAb)
    print('p0:',p0)
    print('p1:',p1)
    if p1>p0:
        return 1
    else:
        return 0

#朴素贝叶斯测试函数
'''
    参数:testVec:测试样本
    返回:测试样本的类别
'''
def testingNB(testVec):
    dataSet,classVec=loadDataSet() #创建实验样本
    vocabList=createVocabLitst(dataSet) #创建词汇表ebn
    trainMat=get_trainMat(dataSet) #实验样本向量化
    p0v,p1v,pAb=trainNB(trainMat,classVec) #训练朴素贝叶斯分类器
    thisone=setOfwords2vec(vocabList,testVec) #测试样本向量化
    if classifyNB(thisone,p0v,p1v,pAb)==1:
        print(testVec,'属于侮辱类') #执行分类并打印分类结果
    else:
        print(testVec,'属于非侮辱类') #执行分类并打印分类结果

#测试样本1
testVec1=['love','my','dalmation']
testingNB(testVec1)

#测试样本2
testVec2=['stupid','garbage']
testingNB(testVec2)

iris.txt:

5.1,3.5,1.4,0.2,Iris-setosa
4.9,3.0,1.4,0.2,Iris-setosa
4.7,3.2,1.3,0.2,Iris-setosa
4.6,3.1,1.5,0.2,Iris-setosa
5.0,3.6,1.4,0.2,Iris-setosa
5.4,3.9,1.7,0.4,Iris-setosa
4.6,3.4,1.4,0.3,Iris-setosa
5.0,3.4,1.5,0.2,Iris-setosa
4.4,2.9,1.4,0.2,Iris-setosa
4.9,3.1,1.5,0.1,Iris-setosa
5.4,3.7,1.5,0.2,Iris-setosa
4.8,3.4,1.6,0.2,Iris-setosa
4.8,3.0,1.4,0.1,Iris-setosa
4.3,3.0,1.1,0.1,Iris-setosa
5.8,4.0,1.2,0.2,Iris-setosa
5.7,4.4,1.5,0.4,Iris-setosa
5.4,3.9,1.3,0.4,Iris-setosa
5.1,3.5,1.4,0.3,Iris-setosa
5.7,3.8,1.7,0.3,Iris-setosa
5.1,3.8,1.5,0.3,Iris-setosa
5.4,3.4,1.7,0.2,Iris-setosa
5.1,3.7,1.5,0.4,Iris-setosa
4.6,3.6,1.0,0.2,Iris-setosa
5.1,3.3,1.7,0.5,Iris-setosa
4.8,3.4,1.9,0.2,Iris-setosa
5.0,3.0,1.6,0.2,Iris-setosa
5.0,3.4,1.6,0.4,Iris-setosa
5.2,3.5,1.5,0.2,Iris-setosa
5.2,3.4,1.4,0.2,Iris-setosa
4.7,3.2,1.6,0.2,Iris-setosa
4.8,3.1,1.6,0.2,Iris-setosa
5.4,3.4,1.5,0.4,Iris-setosa
5.2,4.1,1.5,0.1,Iris-setosa
5.5,4.2,1.4,0.2,Iris-setosa
4.9,3.1,1.5,0.1,Iris-setosa
5.0,3.2,1.2,0.2,Iris-setosa
5.5,3.5,1.3,0.2,Iris-setosa
4.9,3.1,1.5,0.1,Iris-setosa
4.4,3.0,1.3,0.2,Iris-setosa
5.1,3.4,1.5,0.2,Iris-setosa
5.0,3.5,1.3,0.3,Iris-setosa
4.5,2.3,1.3,0.3,Iris-setosa
4.4,3.2,1.3,0.2,Iris-setosa
5.0,3.5,1.6,0.6,Iris-setosa
5.1,3.8,1.9,0.4,Iris-setosa
4.8,3.0,1.4,0.3,Iris-setosa
5.1,3.8,1.6,0.2,Iris-setosa
4.6,3.2,1.4,0.2,Iris-setosa
5.3,3.7,1.5,0.2,Iris-setosa
5.0,3.3,1.4,0.2,Iris-setosa
7.0,3.2,4.7,1.4,Iris-versicolor
6.4,3.2,4.5,1.5,Iris-versicolor
6.9,3.1,4.9,1.5,Iris-versicolor
5.5,2.3,4.0,1.3,Iris-versicolor
6.5,2.8,4.6,1.5,Iris-versicolor
5.7,2.8,4.5,1.3,Iris-versicolor
6.3,3.3,4.7,1.6,Iris-versicolor
4.9,2.4,3.3,1.0,Iris-versicolor
6.6,2.9,4.6,1.3,Iris-versicolor
5.2,2.7,3.9,1.4,Iris-versicolor
5.0,2.0,3.5,1.0,Iris-versicolor
5.9,3.0,4.2,1.5,Iris-versicolor
6.0,2.2,4.0,1.0,Iris-versicolor
6.1,2.9,4.7,1.4,Iris-versicolor
5.6,2.9,3.6,1.3,Iris-versicolor
6.7,3.1,4.4,1.4,Iris-versicolor
5.6,3.0,4.5,1.5,Iris-versicolor
5.8,2.7,4.1,1.0,Iris-versicolor
6.2,2.2,4.5,1.5,Iris-versicolor
5.6,2.5,3.9,1.1,Iris-versicolor
5.9,3.2,4.8,1.8,Iris-versicolor
6.1,2.8,4.0,1.3,Iris-versicolor
6.3,2.5,4.9,1.5,Iris-versicolor
6.1,2.8,4.7,1.2,Iris-versicolor
6.4,2.9,4.3,1.3,Iris-versicolor
6.6,3.0,4.4,1.4,Iris-versicolor
6.8,2.8,4.8,1.4,Iris-versicolor
6.7,3.0,5.0,1.7,Iris-versicolor
6.0,2.9,4.5,1.5,Iris-versicolor
5.7,2.6,3.5,1.0,Iris-versicolor
5.5,2.4,3.8,1.1,Iris-versicolor
5.5,2.4,3.7,1.0,Iris-versicolor
5.8,2.7,3.9,1.2,Iris-versicolor
6.0,2.7,5.1,1.6,Iris-versicolor
5.4,3.0,4.5,1.5,Iris-versicolor
6.0,3.4,4.5,1.6,Iris-versicolor
6.7,3.1,4.7,1.5,Iris-versicolor
6.3,2.3,4.4,1.3,Iris-versicolor
5.6,3.0,4.1,1.3,Iris-versicolor
5.5,2.5,4.0,1.3,Iris-versicolor
5.5,2.6,4.4,1.2,Iris-versicolor
6.1,3.0,4.6,1.4,Iris-versicolor
5.8,2.6,4.0,1.2,Iris-versicolor
5.0,2.3,3.3,1.0,Iris-versicolor
5.6,2.7,4.2,1.3,Iris-versicolor
5.7,3.0,4.2,1.2,Iris-versicolor
5.7,2.9,4.2,1.3,Iris-versicolor
6.2,2.9,4.3,1.3,Iris-versicolor
5.1,2.5,3.0,1.1,Iris-versicolor
5.7,2.8,4.1,1.3,Iris-versicolor
6.3,3.3,6.0,2.5,Iris-virginica
5.8,2.7,5.1,1.9,Iris-virginica
7.1,3.0,5.9,2.1,Iris-virginica
6.3,2.9,5.6,1.8,Iris-virginica
6.5,3.0,5.8,2.2,Iris-virginica
7.6,3.0,6.6,2.1,Iris-virginica
4.9,2.5,4.5,1.7,Iris-virginica
7.3,2.9,6.3,1.8,Iris-virginica
6.7,2.5,5.8,1.8,Iris-virginica
7.2,3.6,6.1,2.5,Iris-virginica
6.5,3.2,5.1,2.0,Iris-virginica
6.4,2.7,5.3,1.9,Iris-virginica
6.8,3.0,5.5,2.1,Iris-virginica
5.7,2.5,5.0,2.0,Iris-virginica
5.8,2.8,5.1,2.4,Iris-virginica
6.4,3.2,5.3,2.3,Iris-virginica
6.5,3.0,5.5,1.8,Iris-virginica
7.7,3.8,6.7,2.2,Iris-virginica
7.7,2.6,6.9,2.3,Iris-virginica
6.0,2.2,5.0,1.5,Iris-virginica
6.9,3.2,5.7,2.3,Iris-virginica
5.6,2.8,4.9,2.0,Iris-virginica
7.7,2.8,6.7,2.0,Iris-virginica
6.3,2.7,4.9,1.8,Iris-virginica
6.7,3.3,5.7,2.1,Iris-virginica
7.2,3.2,6.0,1.8,Iris-virginica
6.2,2.8,4.8,1.8,Iris-virginica
6.1,3.0,4.9,1.8,Iris-virginica
6.4,2.8,5.6,2.1,Iris-virginica
7.2,3.0,5.8,1.6,Iris-virginica
7.4,2.8,6.1,1.9,Iris-virginica
7.9,3.8,6.4,2.0,Iris-virginica
6.4,2.8,5.6,2.2,Iris-virginica
6.3,2.8,5.1,1.5,Iris-virginica
6.1,2.6,5.6,1.4,Iris-virginica
7.7,3.0,6.1,2.3,Iris-virginica
6.3,3.4,5.6,2.4,Iris-virginica
6.4,3.1,5.5,1.8,Iris-virginica
6.0,3.0,4.8,1.8,Iris-virginica
6.9,3.1,5.4,2.1,Iris-virginica
6.7,3.1,5.6,2.4,Iris-virginica
6.9,3.1,5.1,2.3,Iris-virginica
5.8,2.7,5.1,1.9,Iris-virginica
6.8,3.2,5.9,2.3,Iris-virginica
6.7,3.3,5.7,2.5,Iris-virginica
6.7,3.0,5.2,2.3,Iris-virginica
6.3,2.5,5.0,1.9,Iris-virginica
6.5,3.0,5.2,2.0,Iris-virginica
6.2,3.4,5.4,2.3,Iris-virginica
5.9,3.0,5.1,1.8,Iris-virginica