机器学习初探之朴素贝叶斯分类

一、 前言

  朴素贝叶斯算法是有监督的学习算法，解决的是分类问题，如客户是否流失、是否值得投资、信用等级评定等多分类问题。该算法的优点在于简单易懂、学习效率高、在某些领域的分类问题中能够与决策树、神经网络相媲美。但由于该算法以自变量之间的独立（条件特征独立）性和连续变量的正态性假设为前提，就会导致算法精度在某种程度上受影响。

在讲解朴素贝叶之前，我们首先推导一下贝叶斯公式。

---

二、贝叶斯公式推导

1、条件概率

我们用此图来详细的介绍条件概率公式的推导。

由图可以十分清楚的知道：

2、全概率公式

对于全概率我们可以这么理解：

如图所示，B区域由B与A1、A2、A3和A4这四个区域的交集组成。 则全概率的公式最之而出。

当然，也可以用另一种方法直观的理解全概率。

  如图所示，你从家出发前往目的地B处，有多条路线可选择。比如从家出发到机场、在做飞机到达目的地这是一条路线，还有其余四条路线可以选择。

  你从家到达飞机场、火车站、汽车站和船口的概率分别为P(A1)、P(A2)、P(A3)和P(A4)。（可能会有路上堵车、封路等原因造成的）。然后从这四个地方到达目的地的概率分别为P（B|A1）、P（B|A2）、P（B|A3）和P（B|A4）。（因为可能会有航班取消等情况）。

因此我们可以得到从家出发到达目的地的概率为：

---

3、贝叶斯公式

由前两部分我们可以推出贝叶斯公式为：

我们把P(A)称为"先验概率"（Prior probability），即在B事件发生之前，我们对A事件概率的一个判断。

P(A|B)称为"后验概率"（Posterior probability），即在B事件发生之后，我们对A事件概率的重新评估。

P(B|A)/P(B)称为"可能性函数"（Likelyhood），这是一个调整因子，使得预估概率更接近真实概率。

结合从家到目的地B处这个例子，我们来更清楚的展示贝叶斯公式：

我们知道全概率公式是计算从家出发到目的地B处的概率是多少，从前到后，我们可以很清楚的计算出来。

那么问题来了：

如果我们到达目的地B，来推断我们走哪条路线的概率是最大的，该如何做呢？

这时候就要用到贝叶斯公式了。

如图所示推断出作飞机这条线路的概率有多大。

全概率公式和贝叶斯公式的区别很简单:

全概率公式：是由原因推结果

贝叶斯公式：是由结果推原因

4、朴素贝叶斯

理解了贝叶斯推断，那么让我们继续看看朴素贝叶斯。贝叶斯和朴素贝叶斯的概念是不同的，区别就在于“朴素”二字，朴素贝叶斯对条件个概率分布做了条件独立性的假设。 比如下面的公式，假设有n个特征：

由于每个特征都是独立的，我们可以进一步拆分公式

这里我们举个例子来更好的阐述朴素贝叶斯

因此，这个打喷嚏的建筑工人，有66%的概率是得了感冒。同理，可以计算这个病人患上过敏或脑震荡的概率。比较这几个概率，就可以知道他最可能得什么病。

这就是贝叶斯分类器的基本方法：在统计资料的基础上，依据某些特征，计算各个类别的概率，从而实现分类。

参考《统计学习方法》，得出朴素贝叶斯的算法为：

在这个算法中我们需要先算出它的先验概率、条件概率，然后在算出它的后验概率最大化，即概率最大的那个可能是什么。

---

三、实战

  以在线社区留言为例。为了不影响社区的发展，我们要屏蔽侮辱性的言论，所以要构建一个快速过滤器，如果某条留言使用了负面或者侮辱性的语言，那么就将该留言标志为内容不当。过滤这类内容是一个很常见的需求。对此问题建立两个类型：侮辱类和非侮辱类，使用1和0分别表示。

  首先，我们把留言或文本进行词条的切分，即将其拆分成一个个的单词，标点符号除去，然后将这些切分的词条集和到一起，形成一个词汇表（词汇表汇集了文本中的所有单词），然后通过词汇表和文档进行生成文档向量。再此基础上我们从文本中构建了词向量。

其实目的很简单，就是把文本转换为数字向量的形式。

在这里数据集是给定切分好的词条。

下面进行一步步的代码讲解。

此函数输出词汇表的结果为：


这里借用如下函数，输出了所给训练样本的文档向量。

输出的结果为：

  可以看出，我们将词汇集中的所有单词首先生成一个（0*单词数目）向量，所给的数据集由6个切分的词条样本，比如果第一个样本的词条分别为’my’, ‘dog’, ‘has’, ‘flea’, ‘problems’, ‘help’, 'please’这7个单词，找到词汇集向量与之对应的索引值，将其改为1，由此生成文档向量，十分巧妙的方式 。

这里它的条件概率用向量表示。

下面来介绍分类函数。

执行结果：

这里仍还有一个问题：如果输入的测试样本为“stupid”和“garbage”，那么它应该属于侮辱类的，但是却判为非侮辱类。
这是什么原因导致的？

在下篇文章中进行讲解。
这里贴上整段代码

import numpy as np   
from functools import reduce 
"""
函数说明:创建实验样本
Parameters:
	无
Returns:
	postingList - 实验样本切分的词条
	classVec - 类别标签向量
"""
def loadDataSet():
	postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'], #切分的词条
				['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
				['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
				['stop', 'posting', 'stupid', 'worthless', 'garbage'],
				['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
				['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]
	classVec = [0,1,0,1,0,1]   					#类别标签向量，1代表侮辱性词汇，0代表不是
	return postingList,classVec
"""
函数说明:将切分的实验样本词条整理成不重复的单词列表，也就是词汇表
Parameters:
	dataSet - 整理的样本数据集
Returns:
vocabSet - 返回不重复的词条列表，也就是词汇表
"""
def createVocabList (dataset): 
    vocabSet =set([])       # 创建一个空的不重复列表
    for document in dataset:
        vocabSet = vocabSet | set(document)     #取并集
    return list(vocabSet)
"""
函数说明:根据vocabList词汇表，将输入inputSet（文档）向量化，向量的每个元素为1或0
Parameters:
	vocabList - createVocabList返回的词汇表
	inputSet - 切分的词条列表
Returns:
	returnVec - 文档向量,词集模型
"""
def setOfWords2Vec(vocabList, inputSet):
	returnVec = [0] * len(vocabList)		#创建一个其中所含元素都为0的向量列表
	for word in inputSet:					#遍历输入的文本
		if word in vocabList:				#如果单词存在于词汇表中，则置1
			returnVec[vocabList.index(word)] = 1
		else: print("the word: %s is not in my Vocabulary!" % word)
	return returnVec			# 返回文档向量
"""
函数说明:朴素贝叶斯分类器训练函数
Parameters:
	trainMatrix - 训练文档矩阵，即setOfWords2Vec返回的returnVec构成的矩阵
	trainCategory - 训练类别标签向量，即loadDataSet返回的classVec
Returns:
	p0Vect - 非的条件概率数组
	p1Vect - 侮辱类的条件概率数组
	pAbusive - 文档属于侮辱类的概率
"""
def trainNB0(trainMatrix,trainCategory):
	numTrainDocs = len(trainMatrix)							# 计算训练的文档数目
	numWords = len(trainMatrix[0])							# 计算每篇文档的词条数
	pAbusive = sum(trainCategory)/float(numTrainDocs)		# 文档属于侮辱类的概率
	p0Num = np.zeros(numWords); p1Num = np.zeros(numWords)	# 创建numpy.zeros数组
	p0Denom = 0.0; p1Denom = 0.0                        	# 分母初始化为0.0
	for i in range(numTrainDocs):
		if trainCategory[i] == 1:   #统计属于侮辱类的,条件概率所需的数据，即P(w0|1),P(w1|1),P(w2|1)···
			p1Num += trainMatrix[i]
			p1Denom += sum(trainMatrix[i])     # 该词条的总的词数目   这压样求得每个词条出现的概率 P(w1),P(w2), P(w3)...
		else:									#统计属于非侮辱类的条件概率所需的数据，即P(w0|0),P(w1|0),P(w2|0)···
			p0Num += trainMatrix[i]
			p0Denom += sum(trainMatrix[i])
	p1Vect = p1Num/p1Denom			#相除        
	p0Vect = p0Num/p0Denom          
	return p0Vect,p1Vect,pAbusive	#返回属于侮辱类的条件概率数组，属于非侮辱类的条件概率数组，文档属于侮辱类的概率
"""
函数说明:朴素贝叶斯分类器分类函数
Parameters:
	vec2Classify - 待分类的词条数组
	p0Vec - 非侮辱类的条件概率数组
	p1Vec -侮辱类的条件概率数组
	pClass1 - 文档属于侮辱类的概率
Returns:
	0 - 属于非侮辱类
	1 - 属于侮辱类
"""
def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1):
	p1 = reduce(lambda x,y:x*y, vec2Classify * p1Vec) * pClass1    #对应元素相乘  这里需要好好理解一下 
	p0 = reduce(lambda x,y:x*y, vec2Classify * p0Vec) * (1.0 - pClass1)
	print('p0:',p0)
	print('p1:',p1)
	if p1 > p0:
		return 1
	else: 
		return 0
"""
函数说明:测试朴素贝叶斯分类器
Parameters:
	无
Returns:
	无
"""
def testingNB():
	listOPosts,listClasses = loadDataSet()									#创建实验样本
	myVocabList = createVocabList(listOPosts)								#创建词汇表
	trainMat=[]
	for postinDoc in listOPosts:
		trainMat.append(setOfWords2Vec(myVocabList, postinDoc))				#将实验样本向量化
	p0V,p1V,pAb = trainNB0(np.array(trainMat),np.array(listClasses))		#训练朴素贝叶斯分类器
	testEntry = ['love', 'my', 'dalmation']									#测试样本1
	thisDoc = np.array(setOfWords2Vec(myVocabList, testEntry))				#测试样本向量化
	if classifyNB(thisDoc,p0V,p1V,pAb):
		print(testEntry,'属于侮辱类')										#执行分类并打印分类结果
	else:
		print(testEntry,'属于非侮辱类')										#执行分类并打印分类结果
	testEntry = ['stupid', 'garbage']										#测试样本2
	thisDoc = np.array(setOfWords2Vec(myVocabList, testEntry))				#测试样本向量化
	if classifyNB(thisDoc,p0V,p1V,pAb):
		print(testEntry,'属于侮辱类')										#执行分类并打印分类结果
	else:
		print(testEntry,'属于非侮辱类')										#执行分类并打印分类结果
if __name__ == '__main__':
	 testingNB()
  

改天见

参考： http://blog.csdn.net/c406495762

这位大佬写的文章很赞。