机器学习初探之朴素贝叶斯优化

一、前言

  在上篇文章中，讲解了朴素贝叶斯的基础知识。本篇文章将在此基础上进行扩展：

---

二、拉普拉斯平滑

  上篇文章提到过，算法存在一定的问题，需要进行改进。那么需要改进的地方在哪里呢？利用贝叶斯分类器对文档进行分类时，要计算多个概率的乘积以获得文档属于某个类别的概率，即计算p(w0|1)p(w1|1)p(w2|1)。如果其中有一个概率值为0，那么最后的成绩也为0。我们拿出上一篇文章的截图。

  从上图可以看出，在计算的时候已经出现了概率为0的情况。如果新实例文本，包含这种概率为0的分词，那么最终的文本属于某个类别的概率也就是0了。显然，这样是很不合理的，为了降低这种影响，可以将所有词的出现数初始化为1，并将分母初始化为2（分母为什么要初始为2呢？），先验概率也要改，分子+1/分母+2。这种做法就叫做拉普拉斯平滑(Laplace Smoothing)又被称为加1平滑，是比较常用的平滑方法，它就是为了解决0概率问题

  除此之外，另外一个遇到的问题就是下溢出，这是由于太多很小的数相乘造成的。学过数学的人都知道，两个小数相乘，越乘越小，这样就造成了下溢出。在程序中，在相应小数位置进行四舍五入，计算结果可能就变成0了。正如下图所示：我们知道侮辱类词汇中stupid的概率时0.15789474,garbarge的概率是0.05263158，两个相乘在乘上先验概率0.5，它的结果不可能是0 ，但是由于下溢出的问题，变成了0。

  为了解决这个问题，对乘积结果取自然对数。通过求对数可以避免下溢出或者浮点数舍入导致的错误。同时，采用自然对数进行处理不会有任何损失。下图给出函数f(x)和ln(f(x))的曲线。

  检查这两条曲线，就会发现它们在相同区域内同时增加或者减少，并且在相同点上取到极值。它们的取值虽然不同，但不影响最终结果。因此对函数tranin(trainMatrix,trainCategory):函数进行更改，修改如下：

结果如下：

这样我们得到的结果就没有问题了，不存在0概率的情况。当然除此之外，我们还需要对代码进行修改classifyNB(vec2Classify, p0Vec, p1Vec, pClass1)函数，修改如下：

这样，我们的朴素贝叶斯分类器就改进完毕了。
现在让我们来看看测试结果吧：

现在还遗留一个小问题，就是拉普拉斯平滑中，我们的分母为什么要加2。

在这里参考下西瓜书上的内容。

在来给个例子方便理解：


可看到由于训练集中的类别由1和-1两类，所以在先验概率中分母需要加上2。

在条件概率中，X（1）这个特征可能取的数有{1，2，3}这三种，X（2）这个特征可能取的数有{S，M，L}这三种，所以Ni=3，即分母需要加上3。

最后附上代码：

import numpy as np   
from functools import reduce 
"""
函数说明:创建实验样本
Parameters:
	无
Returns:
	postingList - 实验样本切分的词条
	classVec - 类别标签向量
"""
def loadDataSet():
	postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'], #切分的词条
				['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
				['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
				['stop', 'posting', 'stupid', 'worthless', 'garbage'],
				['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
				['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]
	classVec = [0,1,0,1,0,1]   					#类别标签向量，1代表侮辱性词汇，0代表不是
	return postingList,classVec
"""
函数说明:将切分的实验样本词条整理成不重复的单词列表，也就是词汇表
Parameters:
	dataSet - 整理的样本数据集
Returns:
vocabSet - 返回不重复的词条列表，也就是词汇表
"""
def createVocabList (dataset): 
    vocabSet =set([])       # 创建一个空的不重复列表
    for document in dataset:
        vocabSet = vocabSet | set(document)     #取并集
    return list(vocabSet)
"""
函数说明:根据vocabList词汇表，将输入inputSet（文档）向量化，向量的每个元素为1或0
Parameters:
	vocabList - createVocabList返回的词汇表
	inputSet - 切分的词条列表
Returns:
	returnVec - 文档向量,词集模型
"""
def setOfWords2Vec(vocabList, inputSet):
	returnVec = [0] * len(vocabList)		#创建一个其中所含元素都为0的向量
	for word in inputSet:					#遍历每个词条
		if word in vocabList:				#如果词条存在于词汇表中，则置1
			returnVec[vocabList.index(word)] = 1
		else: print("the word: %s is not in my Vocabulary!" % word)
	return returnVec			# 返回文档向量
def get_trainmat(dataset):
    trainmat=[]
    vocablist1=createVocabList(dataset)
    for inputset in dataset:
        re=setOfWords2Vec(vocablist1,inputset)
        trainmat.append(re) 
    return trainmat
"""
函数说明:朴素贝叶斯分类器训练函数
Parameters:
	trainMatrix - 训练文档矩阵，即setOfWords2Vec返回的returnVec构成的矩阵
	trainCategory - 训练类别标签向量，即loadDataSet返回的classVec
Returns:
	p0Vect - 非的条件概率数组
	p1Vect - 侮辱类的条件概率数组
	pAbusive - 文档属于侮辱类的概率
"""
def trainNB0(trainMatrix,trainCategory):
	numTrainDocs = len(trainMatrix)							# 计算训练的文档数目
	numWords = len(trainMatrix[0])							# 计算每篇文档的词条数
	pAbusive = (sum(trainCategory)+1)/(numTrainDocs+2)		# 文档属于侮辱类的概率
	p0Num = np.ones(numWords); p1Num = np.ones(numWords)	# 创建numpy.zeros数组
	p0Denom = 2.0; p1Denom = 2.0                        	# 分母初始化为0.0
	for i in range(numTrainDocs):
		if trainCategory[i] == 1:   #统计属于侮辱类的,条件概率所需的数据，即P(w0|1),P(w1|1),P(w2|1)···
			p1Num += trainMatrix[i]
			p1Denom += sum(trainMatrix[i])     # 该词条的总的词数目   这压样求得每个词条出现的概率 P(w1),P(w2), P(w3)...
		else:									#统计属于非侮辱类的条件概率所需的数据，即P(w0|0),P(w1|0),P(w2|0)···
			p0Num += trainMatrix[i]
			p0Denom += sum(trainMatrix[i])
	p1Vect = np.log(p1Num/p1Denom)			#避免最下限，取对数log        
	p0Vect = np.log(p0Num/p0Denom)          
	return p0Vect,p1Vect,pAbusive	#返回属于侮辱类的条件概率数组，属于非侮辱类的条件概率数组，文档属于侮辱类的概率
"""
函数说明:朴素贝叶斯分类器分类函数
Parameters:
	vec2Classify - 待分类的词条数组
	p0Vec - 非侮辱类的条件概率数组
	p1Vec -侮辱类的条件概率数组
	pClass1 - 文档属于侮辱类的概率
Returns:
	0 - 属于非侮辱类
	1 - 属于侮辱类
"""
def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1):
	p1 = sum(vec2Classify * p1Vec)+np.log(pClass1)    #对应元素相乘  这里需要好好理解一下 
	p0 = sum(vec2Classify * p0Vec)+np.log(1.0 - pClass1)
	print('p0:',p0)
	print('p1:',p1)
	if p1 > p0:
		return 1
	else: 
		return 0    
def testingNB():
	listOPosts,listClasses = loadDataSet()									#创建实验样本
	myVocabList = createVocabList(listOPosts)								#创建词汇表
	trainMat=[]
	for postinDoc in listOPosts:
		trainMat.append(setOfWords2Vec(myVocabList, postinDoc))				#将实验样本向量化
	p0V,p1V,pAb = trainNB0(trainMat,listClasses)		#训练朴素贝叶斯分类器
	testEntry = ['love', 'my', 'dalmation']									#测试样本1
	thisDoc = setOfWords2Vec(myVocabList, testEntry)				#测试样本向量化
	if classifyNB(thisDoc,p0V,p1V,pAb):
		print(testEntry,'属于侮辱类')										#执行分类并打印分类结果
	else:
		print(testEntry,'属于非侮辱类')										#执行分类并打印分类结果
	testEntry = ['stupid', 'garbage']										#测试样本2
	thisDoc = np.array(setOfWords2Vec(myVocabList, testEntry))				#测试样本向量化
	if classifyNB(thisDoc,p0V,p1V,pAb):
		print(testEntry,'属于侮辱类')										#执行分类并打印分类结果
	else:
		print(testEntry,'属于非侮辱类')										#执行分类并打印分类结果
if __name__ == '__main__':
	 testingNB()

参考：http://blog.csdn.net/c406495762 这位博主的文章。