李航《统计学习方法》----朴素贝叶斯--例题代码(4.1-4.2）+ 机器学习实战

最新推荐文章于 2022-10-30 17:10:37 发布
最新推荐文章于 2022-10-30 17:10:37 发布
阅读量1.3k 收藏 7
点赞数 7
文章标签： 机器学习 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_37550997/article/details/103642524
版权

朴素贝叶斯算法大致流程：
1、准备数据，创建训练集
2、创建所有特征可能的取值集合
3、将特征取值转换为向量
4、训练算法，从特征向量计算概率：
在这里插入图片描述
5、测试算法，对给定的实例先把实例转换为向量。再计算：

在这里插入图片描述

6、比较p(y=1|x=xi) 和 p(y=0|x=xi)的概大小，如果前者大，则判定当前实例属于y=1；否则y=0。

课本例题代码：

import numpy as np
from functools import reduce

def loadDataSet():
    DataList = [[1, 'S'], [1, 'M'], [1, 'M'], [1, 'S'], [1, 'S'], [2, 'S'], [2, 'M'], [2, 'M'], [2, 'L'], [2, 'L'], [2, 'L'],[3, 'M'], [3, 'M'], [3, 'L'], [3, 'L']]
    classVec = [-1, -1, 1, 1, -1, -1, -1, 1, 1, 1, 1, 1, 1, 1, -1]
    
    return DataList,classVec

def createFeatureList(dataSet):
    featureSet = set([])  					#创建一个空的不重复列表
    for document in dataSet:				
        featureSet = featureSet | set(document) #取并集
    return list(featureSet)


def feature2Vec(featurelist,inputSet):
    vector=[0]*len(featurelist)
    for line in inputSet:
        if line in featurelist:
            vector[featurelist.index(line)]+=1
    return vector

#没有加拉普拉斯平滑的
def trainNB0(trainMat, classVec):
    numTrain = len(trainMat)    #样本数量
    numDataSet = len(trainMat[0])  #总的特征取值
    py1 = classVec.count(1)/float(numTrain)  #求p(y=1)
    p1Num = np.zeros(numDataSet)
    p0Num = np.zeros(numDataSet)   #y=-1表示为y=0
    p1Denom = 0.0
    p0Denom = 0.0
    for i in range(numTrain):
        if classVec[i] == 1:            #统计属于y=1的条件概率所需的数据，即P(w0|1),P(w1|1),P(w2|1)···            
            p1Num += trainMat[i]
            p1Denom += 1
        else:                            #统计属于y=-1的条件概率所需的数据，即P(w0|0),P(w1|0),P(w2|0)···
            p0Num += trainMat[i]
            p0Denom += 1
            
    p1Vect = np.log(p1Num / p1Denom)        #取对数，防止下溢出                          
    p0Vect = np.log(p0Num / p0Denom )   
    
    return p0Vect,p1Vect,py1 
#加拉普拉斯平滑
def trainNB1(trainMat, classVec):
    numTrain = len(trainMat)    #样本数量
    numDataSet = len(trainMat[0])  #总的特征取值
    py1 = classVec.count(1)/float(numTrain)  #求p(y=1)
    p1Num = np.ones(numDataSet)    #创建numpy.ones数组,特征出现数初始化为1，拉普拉斯平滑
    p0Num = np.ones(numDataSet)   #y=-1表示为y=0
    p1Denom = 2.0            #分母初始化为2,拉普拉斯平滑     
    p0Denom = 2.0              
    for i in range(numTrain):
        if classVec[i] == 1:            #统计属于y=1的条件概率所需的数据，即P(w0|1),P(w1|1),P(w2|1)···            
            p1Num += trainMat[i]
            p1Denom += 1
        else:                            #统计属于y=-1的条件概率所需的数据，即P(w0|0),P(w1|0),P(w2|0)···
            p0Num += trainMat[i]
            p0Denom += 1
            
    p1Vect = np.log(p1Num / p1Denom)        #取对数，防止下溢出                          
    p0Vect = np.log(p0Num / p0Denom )   
    
    return p0Vect,p1Vect,py1 
    
    
    
def classifyNB0(vec2Classify, p0Vec, p1Vec, pClass1):
   
    p1 = reduce(lambda x,y:x*y, vec2Classify * p1Vec) * pClass1
    p0 = reduce(lambda x,y:x*y, vec2Classify * p0Vec) * (1.0 - pClass1)
    if p1 > p0:
        return 1
    else: 
        return 0   

def classifyNB1(vec2Classify, p0Vec, p1Vec, pClass1):
   
     p1 = sum(vec2Classify * p1Vec) + np.log(pClass1)    	#对应元素相乘。logA * B = logA + logB，所以这里加上log(pClass1)
     p0 = sum(vec2Classify * p0Vec) + np.log(1.0 - pClass1)

     if p1 > p0:
         return 1
     else: 
         return 0 


if __name__=="__main__":
    trainList, classVec = loadDataSet()
    featurelist = createFeatureList(trainList)   #创建所有特征可n能的取值集合
    print(featurelist)
    trainMat = []
    for inputSet in trainList:
        trainMat.append(feature2Vec(featurelist, inputSet))
    print(trainMat)
    p0V, p1V, py1 = trainNB1(trainMat, classVec)
    test = [2,'S']
    testVec = feature2Vec(featurelist,test) 
    print(testVec)
    pred0 = classifyNB1(testVec,p0V, p1V, py1)
    print(pred0)

机器学习实战（文本分类）

import numpy as np
from functools import reduce

"""
函数说明:创建实验样本


postingList - 实验样本切分的单词
classVec - 样本标签向量

"""
def loadDataSet():
	postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],				#切分的词条
				['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
				['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
				['stop', 'posting', 'stupid', 'worthless', 'garbage'],
				['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
				['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]
	classVec = [0,1,0,1,0,1]   																#类别标签向量，1代表侮辱性词汇，0代表不是
	return postingList,classVec																#返回实验样本切分的词条和类别标签向量

"""
函数说明:生成词库，词库中的单词是不重复的

Parameters:
	dataSet - 样本数据集
Returns:
	vocabSet - 返回不重复的词条列表，也就是词库

"""
def createVocabList(dataSet):
	vocabSet = set([])  					#创建一个空集
	for document in dataSet:				
		vocabSet = vocabSet | set(document) #创建两个集合的并集
	return list(vocabSet)

"""
函数说明:根据vocabList词汇表，将inputSet向量化，向量的每个元素为1或0

Parameters:
	vocabList - createVocabList返回的列表
	inputSet - 切分的词条列表
Returns:
	returnVec - 文档向量,词集模型

"""
def setOfWords2Vec(vocabList, inputSet):
	returnVec = [0] * len(vocabList)									#创建一个其中所含元素都为0的向量
	for word in inputSet:												#遍历每个词条
		if word in vocabList:											#如果词条存在于词汇表中，则置1
			returnVec[vocabList.index(word)] = 1
		else: print("the word: %s is not in my Vocabulary!" % word)
	return returnVec													#返回文档向量


"""
函数说明:朴素贝叶斯分类器训练函数

Parameters:
	trainMatrix - 训练文档矩阵，即setOfWords2Vec返回的returnVec构成的矩阵
	trainCategory - 训练类别标签向量，即loadDataSet返回的classVec
Returns:
	p0Vect - 非的条件概率数组
	p1Vect - 侮辱类的条件概率数组
	pAbusive - 文档属于侮辱类的概率

"""
def trainNB0(trainMatrix,trainCategory):
	numTrainDocs = len(trainMatrix)							#计算训练的文档数目
	numWords = len(trainMatrix[0])							#计算每篇文档的词条数
	pAbusive = sum(trainCategory)/float(numTrainDocs)		#文档属于侮辱类的概率
	p0Num = np.zeros(numWords); p1Num = np.zeros(numWords)	#创建numpy.zeros数组,
	p0Denom = 0.0; p1Denom = 0.0                        	#分母初始化为0.0
	for i in range(numTrainDocs):
		if trainCategory[i] == 1:							#统计属于侮辱类的条件概率所需的数据，即P(w0|1),P(w1|1),P(w2|1)···
			p1Num += trainMatrix[i]
			p1Denom += sum(trainMatrix[i])                  ## 该词条的总的词数目   这压样求得每个词条出现的概率 P(w1),P(w2), P(w3)...
		else:												#统计属于非侮辱类的条件概率所需的数据，即P(w0|0),P(w1|0),P(w2|0)···
			p0Num += trainMatrix[i]
			p0Denom += sum(trainMatrix[i])
	p1Vect = p1Num/p1Denom									#相除        
	p0Vect = p0Num/p0Denom          
	return p0Vect,p1Vect,pAbusive							#返回属于侮辱类的条件概率数组，属于非侮辱类的条件概率数组，文档属于侮辱类的概率

"""
函数说明:朴素贝叶斯分类器分类函数

Parameters:
	vec2Classify - 待分类的词条数组
	p0Vec - 非侮辱类的条件概率数组
	p1Vec -侮辱类的条件概率数组
	pClass1 - 文档属于侮辱类的概率
Returns:
	0 - 属于非侮辱类
	1 - 属于侮辱类

"""
def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1):
	p1 = reduce(lambda x,y:x*y, vec2Classify * p1Vec) * pClass1    			#对应元素相乘  这里需要好好理解一下 
	p0 = reduce(lambda x,y:x*y, vec2Classify * p0Vec) * (1.0 - pClass1)
	print('p0:',p0)
	print('p1:',p1)
	if p1 > p0:
		return 1
	else: 
		return 0

"""
函数说明:测试朴素贝叶斯分类器


"""
def testingNB():
	listOPosts,listClasses = loadDataSet()									#创建实验样本
	myVocabList = createVocabList(listOPosts)								#创建词汇表
	trainMat=[]
	for postinDoc in listOPosts:
		trainMat.append(setOfWords2Vec(myVocabList, postinDoc))				#将实验样本向量化
	p0V,p1V,pAb = trainNB0(np.array(trainMat),np.array(listClasses))		#训练朴素贝叶斯分类器
	testEntry = ['love', 'my', 'dalmation']									#测试样本1
	thisDoc = np.array(setOfWords2Vec(myVocabList, testEntry))				#测试样本向量化
	if classifyNB(thisDoc,p0V,p1V,pAb):
		print(testEntry,'属于侮辱类')										#执行分类并打印分类结果
	else:
		print(testEntry,'属于非侮辱类')										#执行分类并打印分类结果
	testEntry = ['stupid', 'garbage']										#测试样本2

	thisDoc = np.array(setOfWords2Vec(myVocabList, testEntry))				#测试样本向量化
	if classifyNB(thisDoc,p0V,p1V,pAb):
		print(testEntry,'属于侮辱类')										#执行分类并打印分类结果
	else:
		print(testEntry,'属于非侮辱类')										#执行分类并打印分类结果

if __name__ == '__main__':
	testingNB()

该算法的优缺点：
优点：在数据较少的情况下仍然有效，可以处理多类别问题。
缺点：对于输入数据的准备方式交为敏感

weixin_37550997
关注
  • 7
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
统计学习方法读书笔记9-朴素贝叶斯习题
柳杰的博客
10-22 255
文章目录1.课本习题-符号太多了2.视频作业 1.课本习题-符号太多了 2.视频作业 与课本P63-64页差不多 #!usr/bin/env python # -*- coding:utf-8 _*- """ @author: liujie @software: PyCharm @file: naives 自编程实现.py @time: 2020/10/22 10:03 """ import numpy as np import pandas as pd # 定义朴素贝叶斯类 clas
统计学习方法（李航）算法4.1（朴素贝叶斯算法）C++简单实现
09-29
对《统计学习方法》（李航），算法4.1朴素贝叶斯算法，以例4.1为例用C++简单实现。
李航《统计学习方法》例4.1朴素贝叶斯法的参数估计 之 极大似然估计 ——实现代码
少年一贯快马扬帆，道阻且长不转弯； 要盛大，要绚烂，要哗然； 要用理想的泰坦尼克，去撞现实的冰川； 要当烧赤壁的风，而非借鉴草船； 要为了一片海，就肯翻万山。
01-15 2573
# 2021.01.15 By yangbocsu 例4.1试由表 4.1的训练数据学习一个朴素贝叶斯分类器并确定x = (2, S)T的类标记y。表中X(1), X(2)为特征，取值的集合分别为A1 = {1,2,3}, A2 ={S,M,L}, Y为类标记，Y∈C= {1,-1}。 # 2021.01.15 By yangbocsu import numpy as np import matplotlib.pyplot as plt import time train_data =...
统计学习方法——朴素贝叶斯
qq_41913559的博客
01-07 1026
文章目录引言朴素贝叶斯朴素贝叶斯的参数估计极大似然估计 引言 朴素贝叶斯多用于分类问题，实现简单，并且学习和预测的效率都很高。而贝叶斯作为朴素贝叶斯的基础这里就不过多介绍了。 P(A∣B)=P(B∣A)P(A)P(B) P(A|B)={\frac{P(B|A)P(A)}{P(B)}} P(A∣B)=P(B)P(B∣A)P(A)​ 朴素贝叶斯 给定训练集T=(x1,y1),(x2,y2),..,(xN,yN)T={(x_1,y_1),(x_2,y_2),..,(x_N,y_N)}T=(x1​,y1​),(x2
朴素贝叶斯算法---统计学习方法例4.1计算（MATLAB）
xq_520的博客
08-05 893
个人学习记录，只进行了书上例题的结果验证，没有改写成函数。 %%%%%% 朴素贝叶斯算法 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% clc clear X = {1,'S';1,'M';1,'M';1,'S';1,'S';2,'S';2,'M';2,'M';2,'L';2,'L';3,'L';3,'M';3,'M';3,'L';3...
Python-统计学习方法李航值得反复读笔记代码参考文献Errata
08-11
《统计学习方法》是李航博士的一本经典著作，它深入浅出地介绍了机器学习的基本概念、理论和算法。这本书以其严谨性和实用性深受广大读者喜爱，尤其在Python开发的机器学习领域，它更是不可或缺的参考资料。这个...
机器学习必读经典-统计学习方法-配套课件
最新发布
06-05
《统计学习方法》是一本经典的机器学习教材，由李航编写。这本书分为两篇，详细介绍了监督学习和无监督学习的主要方法。第一篇涵盖了决策树、感知机、支持向量机、最大熵模型、逻辑斯谛回归、EM算法、隐马尔科夫模型...
李航-统计学习方法配套源代码，已跑通
12-24
不懂的可以问我
李航-统计学习方法-代码及课件
11-23
李航-统计学习方法-代码及课件，包含《统计学习方法》清华大学出版社的课件和代码。
统计学习方法-李航_machinelearning_统计学习方法_
10-04
《统计学习方法》是李航博士的一本经典著作，它深入浅出地介绍了机器学习领域中的统计学习理论和方法。这本书对于理解机器学习的核心概念、算法及其应用具有极高的价值，是许多学习者和从业者的必备参考书。下面将...
统计学习方法笔记（部分算法含matlab代码）
11-17
以李航《统计学习方法》为参考，包含自己的理解和部分相关代码~有所不对请大家指出，新手上路，请多指教。
李航博士《统计学习方法》代码以及讲解博客
11-08
李航统计学习方法上所有算法的Python，可以看看别人怎么实现算法的，以及怎么封装算法的。
朴素贝叶斯分类器（MATLAB源代码）
09-30
朴素贝叶斯分类器 MATLAB 源代码，里面含有使用实例，用的是 UCI 的 mushroom 数据集。 分类器详细介绍见： http://blog.csdn.net/yunduanmuxue/article/details/39693917
[CRF] 条件随机场 统计学习方法例11.3 代码实践
qq_36231549的博客
06-30 388
def viterbi_CRF(y, t, s): """ 统计学习方法例11.3 :param y: 输出序列 :param t: 转移特征 [序列*y标记矩阵*[yi-1,yi]] :param s: 状态特征 [序列*y标记] :return: 最优路径的状态索引、概率最大值矩阵、节点矩阵 """ y_lable = len(t...
朴素贝叶斯【实例+代码】
weixin_51973156的博客
10-30 1454
（1）高斯朴素贝叶斯（Gaussian Naive Bayes）（2）多项式朴素贝叶斯（Multinomial Naive Bayes）条件概率公式：事件A在另外一个事件B已经发生条件下的发生概率P(A|B)推出P(A|B) = P(B|A)P(A) / P(B) 朴素贝叶斯公式。（3）伯努利朴素贝叶斯（Bernoulli Naive Bayes）例子：这是我自己写的一个数据集 判断一个日落果的好坏(诶嘿。Q：预测 大的、圆的、橙色的日落果是好的还是坏的。
朴素贝叶斯-简单代码案例实现（垃圾邮箱、文本分类）
hxl
08-24 939
适合简单的文本分析（垃圾邮箱分类案例） #读取文件 import pandas as pd df = pd.read_csv("data/spam.csv",encoding='latin') df.head() df.drop(columns={'Unnamed: 2','Unnamed: 3','Unnamed: 4'},inplace=True) #重命名数据中的v1,v2 df.rename(columns={'v1':'label','v2':'text'},inplace=True) df.
李航机器学习 | (7) 统计学习方法(第2版)笔记 --- 朴素贝叶斯习题与编程作业
sdu_hao的博客
11-21 1711
1. 用极大似然估计法推出朴素贝叶斯法中的概率估计公式： 2. 用贝叶斯估计法推出朴素贝叶斯法中的概率估计公式： 3. 贝叶斯估计求解过程 4.自编程实现朴素贝叶斯算法，对上述表格中的训练数据进行分类。 """ 朴素贝叶斯算法的实现 2019/4/12 """ import numpy as np import pandas...
朴素贝叶斯文本分类（代码实现）
wfengzi5的博客
12-18 4836
朴素贝叶斯算法实现案例 1.概述 要介绍朴素贝叶斯算法(Naive Bayes)，那就得先介绍贝叶斯分类算法，贝叶斯分类算法是统计分类算法的一种，他是一类利用概率统计知识进行的一种分类算法。而朴素贝叶斯算法就是里面贝叶斯算法中最简单的一个算法。为什么叫做朴素贝叶斯，因为他里面的各个类条件是独立的，所以一会在后面的计算中会起到很多方便的作用。 注：朴素的意思是条件概率独立性 2.算法思想 朴素贝叶斯...
朴素贝叶斯分类： 使用案例
eyeofeagle的博客
10-24 6316
1，朴素贝叶斯公式：定义 1.1 全概率公式： 1.2 贝叶斯公式： 设 x= {a1, a2, a3…, am } 为一个待分类项，而每个a为x的一个特征属性。 有类别集合：C ={ y1, y2, y3 …, yn } 计算一个概率集合U ： P(y1|x), P(y2|x), P(y3|x)…P(yn|x) x最可能的类别 <==> 集合
李航统计学习方法朴素贝叶斯
09-22
李航的《统计学习方法》全面介绍了统计学习的主要方法，包括朴素贝叶斯法。该书对朴素贝叶斯法进行了全面系统的叙述，包括其学习与分类方法以及参数估计算法。朴素贝叶斯法是该书介绍的一种监督学习方法之一。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值