一、贝叶斯公式
贝叶斯公式又被称为贝叶斯规则,是概率统计中的应用所观察到的现象对有关概率分布的主观判断(先验概率)进行修正的标准方法。贝叶斯算法是一种强大的统计学方法,在机器学习中有着广泛的应用,特别是在分类、预测和推理等任务中。
1.条件概率
在贝叶斯算法中,条件概率是指在已知某些事件发生的前提下,其他事件发生的概率。条件概率在贝叶斯算法中起到了重要的作用,它被用于计算后验概率。
表达式:
P(B|A) = P(A∩B) / P(A)
2.先验概率与后验概率
先验概率:先验概率是在考虑任何观测数据之前,我们对事件发生概率的初始估计。它是基于以往的经验、知识或领域专家的判断所得出的。先验概率通常表示为P(A),其中A是某个事件。
后验概率:后验概率是在考虑了新的观测数据之后,更新我们对事件发生概率的估计。它是根据贝叶斯定理计算得出的。后验概率通常表示为P(A|B),其中A是某个事件,B是观测到的数据。
由先验概率到后验概率表达式:
P(A|B)表示在观测到数据B的情况下,事件A发生的概率;P(B|A)表示在事件A发生的条件下,观测到数据B的概率;P(A)表示事件A发生的先验概率;P(B)表示观测到数据B的概率。
3.贝叶斯定理:
贝叶斯定理是概率论中的一个重要定理,描述了在已知一些观测数据的情况下,如何更新对事件的概率估计。它是基于条件概率的计算规则,由英国数学家托马斯·贝叶斯提出。
贝叶斯定理表达式:
其中,( P(A|B) ) 是在给定 B 的条件下 A 的概率,( P(B|A) ) 是在给定 A 的条件下 B 的概率,( P(A) ) 和 ( P(B) ) 分别是 A 和 B 的边际概率。
4.最大后验概率估计(MAP)
(1)根据贝叶斯定理,后验概率 P(θ|X) 可以通过先验概率 P(θ) 和似然概率 P(X|θ) 相乘并归一化得到:
(2)MAP估计的目标是找到使得后验概率 P(θ|X) 最大化的参数 θ 的取值。根据贝叶斯定理,可以将目标转化为最大化后验概率的对数:
(3)对于给定的样本集合 X,log(P(X)) 是一个常数,可以忽略。因此,我们可以简化为最大化先验概率和似然概率的对数之和:
二、朴素贝叶斯算法
1.特性:
朴素贝叶斯算法假设在给定类别标签的情况下,特征之间相互独立。
2.思路:
在贝叶斯的基础上化简计算表达式,简化计算过程。
3.公式推导:
首先根据贝叶斯定理,我们可得:
接下来,引入朴素贝叶斯的条件独立性假设,即假设特征向量的各个特征之间是相互独立的。根据这个假设,可以将P(X|C)表示为各个特征的条件概率的乘积:
其中,x1, x2, ..., xn表示特征向量X的各个特征。
将上述结果代入贝叶斯定理中,得到朴素贝叶斯公式:
注意P(X)是固定的,所以也可以表达为:
三、朴素贝叶斯实现垃圾邮件分类
1.实验步骤:
(1)收集数据:提供文本文件。
(2)准备数据:将文本文件解析成词条向量。
(3)分析数据:检查词条确保解析的正确性。
(4)训练算法:计算不同的独立特征的条件概率。
(5)测试算法:计算错误率。
(6)使用算法:构建一个完整的程序对一组文档进行分类。
2.代码实现:
1.收集数据:准备一个数据集email包括垃圾邮件与正常邮件
如图为一封正常邮件:
如图为一封垃圾邮件:
实验代码:
1.读取垃圾邮件与正常邮件的文本数据:
docList = []
classList = []
fullText = []
for i in range(1, 26): # 遍历25个txt文件
wordList = textParse(open('C:/Users/Yusua/Desktop/222/email/spam/%d.txt' % i, 'r',encoding='latin-1').read()) # 读取每个垃圾邮件,并字符串转换成字符串列表
docList.append(wordList)
fullText.append(wordList)
classList.append(1) # 标记垃圾邮件,1表示垃圾文件
wordList = textParse(open('C:/Users/Yusua/Desktop/222/email/ham/%d.txt' % i, 'r',encoding='latin-1').read()) # 读取每个非垃圾邮件,并字符串转换成字符串列表
docList.append(wordList)
fullText.append(wordList)
classList.append(0) # 标记正常邮件,0表示正常文件
print(docList)
2.对数据进行预处理,构建词汇表。
def createVocabList(dataSet):
vocabSet = set([]) # 创建一个空的不重复列表
for document in dataSet:
vocabSet = vocabSet | set(document) # 取并集
return list(vocabSet)
def setOfWords2Vec(vocabList, inputSet):
returnVec = [0] * len(vocabList) # 创建一个其中所含元素都为0的向量
for word in inputSet: # 遍历每个词条
if word in vocabList: # 如果词条存在于词汇表中,则置1
returnVec[vocabList.index(word)] = 1
else:
print("the word: %s is not in my Vocabulary!" % word)
return returnVec # 返回文档向量
def bagOfWords2VecMN(vocabList, inputSet):
returnVec = [0] * len(vocabList) # 创建一个其中所含元素都为0的向量
for word in inputSet: # 遍历每个词条
if word in vocabList: # 如果词条存在于词汇表中,则计数加一
returnVec[vocabList.index(word)] += 1
return returnVec # 返回词袋模型
3.划分训练集与测试集,利用训练集训练贝叶斯分类器,得到愤怒类模型参数。
def trainNB0(trainMatrix, trainCategory):
numTrainDocs = len(trainMatrix) # 计算训练的文档数目
numWords = len(trainMatrix[0]) # 计算每篇文档的词条数
pAbusive = sum(trainCategory) / float(numTrainDocs) # 文档属于垃圾邮件类的概率
p0Num = np.ones(numWords)
p1Num = np.ones(numWords) # 创建numpy.ones数组,词条出现数初始化为1,拉普拉斯平滑
p0Denom = 2.0
p1Denom = 2.0 # 分母初始化为2 ,拉普拉斯平滑
for i in range(numTrainDocs):
if trainCategory[i] == 1: # 统计属于侮辱类的条件概率所需的数据,即P(w0|1),P(w1|1),P(w2|1)···
p1Num += trainMatrix[i]
p1Denom += sum(trainMatrix[i])
else: # 统计属于非侮辱类的条件概率所需的数据,即P(w0|0),P(w1|0),P(w2|0)···
p0Num += trainMatrix[i]
p0Denom += sum(trainMatrix[i])
p1Vect = np.log(p1Num / p1Denom)
p0Vect = np.log(p0Num / p0Denom) # 取对数,防止下溢出
return p0Vect, p1Vect, pAbusive # 返回属于正常邮件类的条件概率数组,属于侮辱垃圾邮件类的条件概率数组,文档属于垃圾邮件类的概率
def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1):
# p1 = reduce(lambda x, y: x * y, vec2Classify * p1Vec) * pClass1 # 对应元素相乘
# p0 = reduce(lambda x, y: x * y, vec2Classify * p0Vec) * (1.0 - pClass1)
p1 = sum(vec2Classify * p1Vec) + np.log(pClass1)
p0 = sum(vec2Classify * p0Vec) + np.log(1.0 - pClass1)
if p1 > p0:
return 1
else:
return 0
4.使用测试机对分类器测试,并计算分类的准确率。
for docIndex in testSet: # 遍历测试集
wordVector = setOfWords2Vec(vocabList, docList[docIndex]) # 测试集的词集模型
if classifyNB(np.array(wordVector), p0V, p1V, pSpam) != classList[docIndex]: # 如果分类错误
errorCount += 1 # 错误计数加1
print("分类错误的测试集:", docList[docIndex])
实验结果:
3.完整代码
import numpy as np
import re
import random
def createVocabList(dataSet):
vocabSet = set([]) # 创建一个空的不重复列表
for document in dataSet:
vocabSet = vocabSet | set(document) # 取并集
return list(vocabSet)
def setOfWords2Vec(vocabList, inputSet):
returnVec = [0] * len(vocabList) # 创建一个其中所含元素都为0的向量
for word in inputSet: # 遍历每个词条
if word in vocabList: # 如果词条存在于词汇表中,则置1
returnVec[vocabList.index(word)] = 1
else:
print("the word: %s is not in my Vocabulary!" % word)
return returnVec # 返回文档向量
def bagOfWords2VecMN(vocabList, inputSet):
returnVec = [0] * len(vocabList) # 创建一个其中所含元素都为0的向量
for word in inputSet: # 遍历每个词条
if word in vocabList: # 如果词条存在于词汇表中,则计数加一
returnVec[vocabList.index(word)] += 1
return returnVec # 返回词袋模型
def trainNB0(trainMatrix, trainCategory):
numTrainDocs = len(trainMatrix) # 计算训练的文档数目
numWords = len(trainMatrix[0]) # 计算每篇文档的词条数
pAbusive = sum(trainCategory) / float(numTrainDocs) # 文档属于垃圾邮件类的概率
p0Num = np.ones(numWords)
p1Num = np.ones(numWords) # 创建numpy.ones数组,词条出现数初始化为1,拉普拉斯平滑
p0Denom = 2.0
p1Denom = 2.0 # 分母初始化为2 ,拉普拉斯平滑
for i in range(numTrainDocs):
if trainCategory[i] == 1: # 统计属于侮辱类的条件概率所需的数据,即P(w0|1),P(w1|1),P(w2|1)···
p1Num += trainMatrix[i]
p1Denom += sum(trainMatrix[i])
else: # 统计属于非侮辱类的条件概率所需的数据,即P(w0|0),P(w1|0),P(w2|0)···
p0Num += trainMatrix[i]
p0Denom += sum(trainMatrix[i])
p1Vect = np.log(p1Num / p1Denom)
p0Vect = np.log(p0Num / p0Denom) # 取对数,防止下溢出
return p0Vect, p1Vect, pAbusive # 返回属于正常邮件类的条件概率数组,属于侮辱垃圾邮件类的条件概率数组,文档属于垃圾邮件类的概率
def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1):
# p1 = reduce(lambda x, y: x * y, vec2Classify * p1Vec) * pClass1 # 对应元素相乘
# p0 = reduce(lambda x, y: x * y, vec2Classify * p0Vec) * (1.0 - pClass1)
p1 = sum(vec2Classify * p1Vec) + np.log(pClass1)
p0 = sum(vec2Classify * p0Vec) + np.log(1.0 - pClass1)
if p1 > p0:
return 1
else:
return 0
def textParse(bigString): # 将字符串转换为字符列表
listOfTokens = re.split('\\W+', bigString) # 将特殊符号作为切分标志进行字符串切分,即非字母、非数字
return [tok.lower() for tok in listOfTokens if len(tok) > 2] # 除了单个字母,例如大写的I,其它单词变成小写
def spamTest():
docList = []
classList = []
fullText = []
for i in range(1, 26): # 遍历25个txt文件
wordList = textParse(open('C:/Users/Yusua/Desktop/222/email/spam/%d.txt' % i, 'r',encoding='latin-1').read()) # 读取每个垃圾邮件,并字符串转换成字符串列表
docList.append(wordList)
fullText.append(wordList)
classList.append(1) # 标记垃圾邮件,1表示垃圾文件
wordList = textParse(open('C:/Users/Yusua/Desktop/222/email/ham/%d.txt' % i, 'r',encoding='latin-1').read()) # 读取每个非垃圾邮件,并字符串转换成字符串列表
docList.append(wordList)
fullText.append(wordList)
classList.append(0) # 标记正常邮件,0表示正常文件
print(docList)
vocabList = createVocabList(docList) # 创建词汇表,不重复
print(vocabList)
trainingSet = list(range(50))
testSet = [] # 创建存储训练集的索引值的列表和测试集的索引值的列表
for i in range(10): # 从50个邮件中,随机挑选出40个作为训练集,10个做测试集
randIndex = int(random.uniform(0, len(trainingSet))) # 随机选取索索引值
testSet.append(trainingSet[randIndex]) # 添加测试集的索引值
del (trainingSet[randIndex]) # 在训练集列表中删除添加到测试集的索引值
trainMat = []
trainClasses = [] # 创建训练集矩阵和训练集类别标签系向量
for docIndex in trainingSet: # 遍历训练集
trainMat.append(setOfWords2Vec(vocabList, docList[docIndex])) # 将生成的词集模型添加到训练矩阵中
trainClasses.append(classList[docIndex]) # 将类别添加到训练集类别标签系向量中
p0V, p1V, pSpam = trainNB0(np.array(trainMat), np.array(trainClasses)) # 训练朴素贝叶斯模型
errorCount = 0 # 错误分类计数
for docIndex in testSet: # 遍历测试集
wordVector = setOfWords2Vec(vocabList, docList[docIndex]) # 测试集的词集模型
if classifyNB(np.array(wordVector), p0V, p1V, pSpam) != classList[docIndex]: # 如果分类错误
errorCount += 1 # 错误计数加1
print("分类错误的测试集:", docList[docIndex])
print('正确率:%.2f%%' % (float(errorCount) / len(testSet) * 100))
if __name__ == '__main__':
spamTest()
四、实验小结
在完成本次实验中,在字符编码上出现问题,由于文件中存在一些非法符号,导致出现字符转换错误的问题,在详细查找后修改原文件中错误的非法符号,代码可以正常运行。
本次实验中,让我收获了贝叶斯公式实现的基本原理与实现过程,并且进一步地学习了朴素贝叶斯的推导实现过程,完成了简化并完成了贝叶斯公式对于分类问题的处理过程,更加清楚的认识了分类处理问题的解决方案。