一、 前言
朴素贝叶斯算法是有监督的学习算法,解决的是分类问题,如客户是否流失、是否值得投资、信用等级评定等多分类问题。该算法的优点在于简单易懂、学习效率高、在某些领域的分类问题中能够与决策树、神经网络相媲美。但由于该算法以自变量之间的独立(条件特征独立)性和连续变量的正态性假设为前提,就会导致算法精度在某种程度上受影响。
在讲解朴素贝叶之前,我们首先推导一下贝叶斯公式。
二、贝叶斯公式推导
1、条件概率
我们用此图来详细的介绍条件概率公式的推导。
由图可以十分清楚的知道:
2、全概率公式
对于全概率我们可以这么理解:
如图所示,B区域由B与A1、A2、A3和A4这四个区域的交集组成。 则全概率的公式最之而出。
当然,也可以用另一种方法直观的理解全概率。
如图所示,你从家出发前往目的地B处,有多条路线可选择。比如从家出发到机场、在做飞机到达目的地这是一条路线,还有其余四条路线可以选择。
你从家到达飞机场、火车站、汽车站和船口的概率分别为P(A1)、P(A2)、P(A3)和P(A4)。(可能会有路上堵车、封路等原因造成的)。然后从这四个地方到达目的地的概率分别为P(B|A1)、P(B|A2)、P(B|A3)和P(B|A4)。(因为可能会有航班取消等情况)。
因此我们可以得到从家出发到达目的地的概率为:
3、贝叶斯公式
由前两部分我们可以推出贝叶斯公式为:
我们把P(A)称为"先验概率"(Prior probability),即在B事件发生之前,我们对A事件概率的一个判断。
P(A|B)称为"后验概率"(Posterior probability),即在B事件发生之后,我们对A事件概率的重新评估。
P(B|A)/P(B)称为"可能性函数"(Likelyhood),这是一个调整因子,使得预估概率更接近真实概率。
结合从家到目的地B处这个例子,我们来更清楚的展示贝叶斯公式:
我们知道全概率公式是计算从家出发到目的地B处的概率是多少,从前到后,我们可以很清楚的计算出来。
那么问题来了:
如果我们到达目的地B,来推断我们走哪条路线的概率是最大的,该如何做呢?
这时候就要用到贝叶斯公式了。
如图所示推断出作飞机这条线路的概率有多大。
全概率公式和贝叶斯公式的区别很简单:
全概率公式:是由原因推结果
贝叶斯公式:是由结果推原因
4、朴素贝叶斯
理解了贝叶斯推断,那么让我们继续看看朴素贝叶斯。贝叶斯和朴素贝叶斯的概念是不同的,区别就在于“朴素”二字,朴素贝叶斯对条件个概率分布做了条件独立性的假设。 比如下面的公式,假设有n个特征:
由于每个特征都是独立的,我们可以进一步拆分公式
这里我们举个例子来更好的阐述朴素贝叶斯
因此,这个打喷嚏的建筑工人,有66%的概率是得了感冒。同理,可以计算这个病人患上过敏或脑震荡的概率。比较这几个概率,就可以知道他最可能得什么病。
这就是贝叶斯分类器的基本方法:在统计资料的基础上,依据某些特征,计算各个类别的概率,从而实现分类。
参考《统计学习方法》,得出朴素贝叶斯的算法为:
在这个算法中我们需要先算出它的先验概率、条件概率,然后在算出它的后验概率最大化,即概率最大的那个可能是什么。
三、实战
以在线社区留言为例。为了不影响社区的发展,我们要屏蔽侮辱性的言论,所以要构建一个快速过滤器,如果某条留言使用了负面或者侮辱性的语言,那么就将该留言标志为内容不当。过滤这类内容是一个很常见的需求。对此问题建立两个类型:侮辱类和非侮辱类,使用1和0分别表示。
首先,我们把留言或文本进行词条的切分,即将其拆分成一个个的单词,标点符号除去,然后将这些切分的词条集和到一起,形成一个词汇表(词汇表汇集了文本中的所有单词),然后通过词汇表和文档进行生成文档向量。再此基础上我们从文本中构建了词向量。
其实目的很简单,就是把文本转换为数字向量的形式。
在这里数据集是给定切分好的词条。
下面进行一步步的代码讲解。
此函数输出词汇表的结果为:
这里借用如下函数,输出了所给训练样本的文档向量。
输出的结果为:
可以看出,我们将词汇集中的所有单词首先生成一个(0*单词数目)向量,所给的数据集由6个切分的词条样本,比如果第一个样本的词条分别为’my’, ‘dog’, ‘has’, ‘flea’, ‘problems’, ‘help’, 'please’这7个单词,找到词汇集向量与之对应的索引值,将其改为1,由此生成文档向量,十分巧妙的方式 。
这里它的条件概率用向量表示。
下面来介绍分类函数。
执行结果:
这里仍还有一个问题:如果输入的测试样本为“stupid”和“garbage”,那么它应该属于侮辱类的,但是却判为非侮辱类。
这是什么原因导致的?
在下篇文章中进行讲解。
这里贴上整段代码
import numpy as np
from functools import reduce
"""
函数说明:创建实验样本
Parameters:
无
Returns:
postingList - 实验样本切分的词条
classVec - 类别标签向量
"""
def loadDataSet():
postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'], #切分的词条
['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
['stop', 'posting', 'stupid', 'worthless', 'garbage'],
['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]
classVec = [0,1,0,1,0,1] #类别标签向量,1代表侮辱性词汇,0代表不是
return postingList,classVec
"""
函数说明:将切分的实验样本词条整理成不重复的单词列表,也就是词汇表
Parameters:
dataSet - 整理的样本数据集
Returns:
vocabSet - 返回不重复的词条列表,也就是词汇表
"""
def createVocabList (dataset):
vocabSet =set([]) # 创建一个空的不重复列表
for document in dataset:
vocabSet = vocabSet | set(document) #取并集
return list(vocabSet)
"""
函数说明:根据vocabList词汇表,将输入inputSet(文档)向量化,向量的每个元素为1或0
Parameters:
vocabList - createVocabList返回的词汇表
inputSet - 切分的词条列表
Returns:
returnVec - 文档向量,词集模型
"""
def setOfWords2Vec(vocabList, inputSet):
returnVec = [0] * len(vocabList) #创建一个其中所含元素都为0的向量列表
for word in inputSet: #遍历输入的文本
if word in vocabList: #如果单词存在于词汇表中,则置1
returnVec[vocabList.index(word)] = 1
else: print("the word: %s is not in my Vocabulary!" % word)
return returnVec # 返回文档向量
"""
函数说明:朴素贝叶斯分类器训练函数
Parameters:
trainMatrix - 训练文档矩阵,即setOfWords2Vec返回的returnVec构成的矩阵
trainCategory - 训练类别标签向量,即loadDataSet返回的classVec
Returns:
p0Vect - 非的条件概率数组
p1Vect - 侮辱类的条件概率数组
pAbusive - 文档属于侮辱类的概率
"""
def trainNB0(trainMatrix,trainCategory):
numTrainDocs = len(trainMatrix) # 计算训练的文档数目
numWords = len(trainMatrix[0]) # 计算每篇文档的词条数
pAbusive = sum(trainCategory)/float(numTrainDocs) # 文档属于侮辱类的概率
p0Num = np.zeros(numWords); p1Num = np.zeros(numWords) # 创建numpy.zeros数组
p0Denom = 0.0; p1Denom = 0.0 # 分母初始化为0.0
for i in range(numTrainDocs):
if trainCategory[i] == 1: #统计属于侮辱类的,条件概率所需的数据,即P(w0|1),P(w1|1),P(w2|1)···
p1Num += trainMatrix[i]
p1Denom += sum(trainMatrix[i]) # 该词条的总的词数目 这压样求得每个词条出现的概率 P(w1),P(w2), P(w3)...
else: #统计属于非侮辱类的条件概率所需的数据,即P(w0|0),P(w1|0),P(w2|0)···
p0Num += trainMatrix[i]
p0Denom += sum(trainMatrix[i])
p1Vect = p1Num/p1Denom #相除
p0Vect = p0Num/p0Denom
return p0Vect,p1Vect,pAbusive #返回属于侮辱类的条件概率数组,属于非侮辱类的条件概率数组,文档属于侮辱类的概率
"""
函数说明:朴素贝叶斯分类器分类函数
Parameters:
vec2Classify - 待分类的词条数组
p0Vec - 非侮辱类的条件概率数组
p1Vec -侮辱类的条件概率数组
pClass1 - 文档属于侮辱类的概率
Returns:
0 - 属于非侮辱类
1 - 属于侮辱类
"""
def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1):
p1 = reduce(lambda x,y:x*y, vec2Classify * p1Vec) * pClass1 #对应元素相乘 这里需要好好理解一下
p0 = reduce(lambda x,y:x*y, vec2Classify * p0Vec) * (1.0 - pClass1)
print('p0:',p0)
print('p1:',p1)
if p1 > p0:
return 1
else:
return 0
"""
函数说明:测试朴素贝叶斯分类器
Parameters:
无
Returns:
无
"""
def testingNB():
listOPosts,listClasses = loadDataSet() #创建实验样本
myVocabList = createVocabList(listOPosts) #创建词汇表
trainMat=[]
for postinDoc in listOPosts:
trainMat.append(setOfWords2Vec(myVocabList, postinDoc)) #将实验样本向量化
p0V,p1V,pAb = trainNB0(np.array(trainMat),np.array(listClasses)) #训练朴素贝叶斯分类器
testEntry = ['love', 'my', 'dalmation'] #测试样本1
thisDoc = np.array(setOfWords2Vec(myVocabList, testEntry)) #测试样本向量化
if classifyNB(thisDoc,p0V,p1V,pAb):
print(testEntry,'属于侮辱类') #执行分类并打印分类结果
else:
print(testEntry,'属于非侮辱类') #执行分类并打印分类结果
testEntry = ['stupid', 'garbage'] #测试样本2
thisDoc = np.array(setOfWords2Vec(myVocabList, testEntry)) #测试样本向量化
if classifyNB(thisDoc,p0V,p1V,pAb):
print(testEntry,'属于侮辱类') #执行分类并打印分类结果
else:
print(testEntry,'属于非侮辱类') #执行分类并打印分类结果
if __name__ == '__main__':
testingNB()
改天见
参考: http://blog.csdn.net/c406495762
这位大佬写的文章很赞。