朴素贝叶斯（ML）

最新推荐文章于 2020-12-23 13:57:03 发布
最新推荐文章于 2020-12-23 13:57:03 发布
阅读量118 收藏
点赞数
分类专栏： 机器学习 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36106205/article/details/105156224
版权
简介 该代码实现了一个通用的朴素贝叶斯，很久之前的代码，但是一直没有写出来，放上代码与数据集，需要的朋友自取

一：数据集

二：代码

1. normal-bayes.py
### normal-bayes.py

import numpy as np
import pandas as pd

###  返回不重复的单词集合
def ListToSet(dataList):

    ### 定义一个set集合
    dataSet = set([])
    for data in dataList:
        dataSet = dataSet | set(data)   ### 生成集合

    return list(dataSet)   ### 返回一个不重复的列表


### 进行词集向量化，标记位置
def wordToVector(datavector, dataTrain):
    wordVector = [0]*len(datavector)  ### 初始化一个长度相同的向量

    for data in dataTrain:
        if data in datavector:    ### 存在词集中
            wordVector[datavector.index(data)] = 1 ### 向量中致1
        else:print("Error word Vector")

    return wordVector


##  data 是一个数据列表集
def trainBayes(dataList):

    featureData = []
    labelData = []

    dataListLen = len(dataList)

    ###  分割出 特征 和 标签值
    for data in dataList:
        featureData.append(data[:-1])
        labelData.append(data[-1:])

    ### 计算出不重复的特征
    labelSet = ListToSet(labelData)

    dictLabel = {}   ### 存储不同的label中的所有的词集 集合
    prePredict = {}   ### 用于计算先验概率
    ### 进行分类
    for label in labelSet:
        ### 创建一个{label：[]}符合结构
        dictLabel[label] = []
        prePredict[label] = list()
        count = 0.0
        for data in dataList:
            dataLabel = data[-1]
            if dataLabel == label:
                count+=1
                dictLabel[label].append(data[:-1]) ### 存储特征值

        ### 计算先验概率
        prePredict[label].append(count/dataListLen)


    wordDict = {}  ### 每一个制作词集
    wordVector = {}  ###  向量集
    for label in labelSet:
        wordDict[label] = ListToSet(dictLabel[label])   ### 制作一个词集
        wordVector[label] = list()
        for dataTrain in dictLabel[label]:    ### 在词集中进行单词的统计
            wordVector[label].append(wordToVector(wordDict[label], dataTrain))  ### 加入

    ### 计算每一个具体标签的概率
    predict = {}
    for label in labelSet:
        p1num = np.ones(len(wordVector[label][0]))   ### 设置大小
        p1demo = 1.0    ### 分母的值
        for vector in wordVector[label]:
            p1num += vector
            p1demo += sum(vector)

        ### 开始计算概率
        p1PredictVal = np.log(p1num/p1demo)
        predict[label] = p1PredictVal



    return prePredict, predict, wordDict


### 用于判别类型
def classfy(testVector, prePredict, predict, key):
    preDecision = {}

    preVal = sum(testVector * predict[key]) + np.log(prePredict[key])

    return preVal


# ### 用于判别类型
# def classfy(testVector, prePredict, predict):
#
#
#     preDecision = {}
#     for key in predict.keys():
#         preDecision[key] = sum(testVector * predict[key]) + np.log(prePredict)
#
#     ### 进行排序操作
#     preDecisionSorted = sorted(preDecision.items(), key=lambda x:x[1], reverse=True)
#
#     return preDecisionSorted[0][0]   ### 返回第一个值,也就是排序后最可能的标签值

def dataTest(trainData, testData):
    print("test")
    ### 训练的数据集处理
    prePredict, predict, wordDict = trainBayes(trainData)  ###  wordDict是词集

    count = 0.0
    testDataLen = len(testData)

    ### 对测试数据集处理
    for data in testData:
        testDataVal = data[:-1]
        testDataLabel = data[-1]
        preVal = -float("inf")
        returnKey = ""
        for key in wordDict:         ### 进行词集向量化
            # testDataSet = ListToSet()
            testVector = wordToVector(wordDict[key], testDataVal)   ### 获取测试数据集的向量化
            ###  进行测试
            returnPreVal = classfy(testVector, prePredict, predict, key)

            if returnPreVal > preVal:
                preVal = returnPreVal
                returnKey = key
        if returnKey != testDataLabel:
            count += 1

    ### 计算错误率
    errorRate = count / testDataLen

    return errorRate



if __name__ == '__main__':

    trainData = pd.read_csv("trainFile.data").values
    testData = pd.read_csv("testFile.data").values

    error = dataTest(trainData,testData)
    print(error)
2. normal-bayes-2.py

## normal-bayes-2.py

import numpy as np
import pandas as pd

###  返回不重复的单词集合
def ListToSet(dataList):
    """
    :param dataList: 列表词集，类型 []
    :return:    列表词集， 不重复的词集
    """
    ### 定义一个set集合
    dataSet = set([])
    for data in dataList:
        dataSet = dataSet | set(data)   ### 生成集合

    return list(dataSet)   ### 返回一个不重复的列表


### 进行词集向量化，标记位置
def wordToVector(datavector, dataTrain):
    """
    :param datavector:    词集，类型: []
    :param dataTrain:     词集，类型: []
    :return:        向量集，标记位置的向量集
    """
    wordVector = [0]*len(datavector)  ### 初始化一个长度相同的向量

    for data in dataTrain:
        if data in datavector:    ### 存在词集中
            wordVector[datavector.index(data)] = 1 ### 向量中致1
        else:
            print("Error word Vector")

    return wordVector


##  data 是一个数据列表集
def trainBayes(dataList):
    """
    :param dataList: 参数要求是一个[[],[]] 类型的数组，包含特征和标签值，并且 标签值为最后一列
    :return: 返回值类型是字典中嵌套列表 {label: [] }
        prePredict：类型：{label: [] } ，含义：先验概率，也就是每一个标签在所有样本中的概率
        predict：类型：{label: [] } ，含义：条件概率，具体类别中，生成的不重复的词集合的概率
        wordDict： 类型： {label: [] } ， 含义：具体类别的词集合
    """
    labelData = []

    dataListLen = len(dataList)

    ###  分割出 特征 和 标签值
    for data in dataList:
        labelData.append(data[-1:])

    ### 计算出不重复的标签
    labelSet = ListToSet(labelData)

    dictLabel = {}   ### 存储不同的label中的所有的词集 集合
    prePredict = {}   ### 用于计算先验概率
    ### 进行分类
    for label in labelSet:
        ### 创建一个{label：[]}符合结构
        dictLabel[label] = []
        prePredict[label] = list()
        count = 0.0
        for data in dataList:
            dataLabel = data[-1]
            if dataLabel == label:
                count+=1
                dictLabel[label].append(data[:-1]) ### 存储特征值

        ### 计算先验概率
        prePredict[label].append(count/dataListLen)


    wordDict = {}  ### 每一个制作词集
    wordVector = {}  ###  向量集
    for label in labelSet:
        wordDict[label] = ListToSet(dictLabel[label])   ### 制作一个词集
        wordVector[label] = list()
        for dataTrain in dictLabel[label]:    ### 在词集中进行单词的统计
            wordVector[label].append(wordToVector(wordDict[label], dataTrain))  ### 加入

    ### 计算每一个具体标签的概率
    predict = {}
    for label in labelSet:
        p1num = np.ones(len(wordVector[label][0]))   ### 设置大小
        p1demo = 1.0    ### 分母的值
        for vector in wordVector[label]:
            p1num += vector
            p1demo += sum(vector)

        ### 开始计算概率
        p1PredictVal = np.log(p1num/p1demo)
        predict[label] = p1PredictVal



    return prePredict, predict, wordDict


### 用于判别类型
def classfy(testVector, prePredict, predict, key):
    """

    :param testVector: 类型：[], 测试词集
    :param prePredict: 类型：{key:[]} 先验概率
    :param predict:    类型：{key:[]} 条件概率
    :param key:        类型：str  标签值
    :return:           该标签下的概率值
    """
    preDecision = {}

    preVal = sum(testVector * predict[key]) + np.log(prePredict[key])

    return preVal


# ### 用于判别类型
# def classfy(testVector, prePredict, predict):
#
#
#     preDecision = {}
#     for key in predict.keys():
#         preDecision[key] = sum(testVector * predict[key]) + np.log(prePredict)
#
#     ### 进行排序操作
#     preDecisionSorted = sorted(preDecision.items(), key=lambda x:x[1], reverse=True)
#
#     return preDecisionSorted[0][0]   ### 返回第一个值,也就是排序后最可能的标签值

def dataTest(trainData, testData):
    """
    :param trainData:  训练数据集 ，类型：[[],[],...], 包含特征和标签，且最后一列为标签值
    :param testData:   测试数据集， 类型：[[],[],...], 包含特征和标签，且最后一列为标签值
    :return:       错误率
    """
    ### 训练的数据集处理
    prePredict, predict, wordDict = trainBayes(trainData)  ###  wordDict是词集

    count = 0.0
    testDataLen = len(testData)

    ### 对测试数据集处理
    for data in testData:
        testDataVal = data[:-1]
        testDataLabel = data[-1]
        preVal = -float("inf")
        returnKey = ""
        for key in wordDict:         ### 进行词集向量化
            testDataSet = ListToSet(testDataVal)   ### 将测试词集进行去重
            testVector = wordToVector(wordDict[key], testDataSet)   ### 获取测试数据集的向量化
            ###  进行测试
            returnPreVal = classfy(testVector, prePredict, predict, key)

            if returnPreVal > preVal:
                preVal = returnPreVal
                returnKey = key
        if returnKey != testDataLabel:
            count += 1

    ### 计算错误率
    errorRate = count / testDataLen

    return errorRate



if __name__ == '__main__':

    trainData = pd.read_csv("trainFile.data").values
    testData = pd.read_csv("testFile.data").values

    error = dataTest(trainData,testData)
    print(error)
    # print("****************************************************************")
    # error = dataTest(testData, trainData)
    # print(error)


"""
normal-bayes.py    测试数据集没有进行去重操作，错误率达到了 54% 左右

normal-bayes-2.py  测试数据集进行了去重处理， 错误率  30% 左右， 降低了 24% 错误率

"""

朴素贝叶斯参考博客（机器学习实战）

小菜的奋斗史
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ML-朴素贝叶斯
小航哥的博客
03-20 239
参考《西瓜书》P151 以前对贝叶斯参数的计算过程不是很清楚，在西瓜书里讲的很详细，原来可以把X属性分为离散型与连续型，离散型的话可以直接按照频率计算，连续型的话，要用极大似然估计，首先假设概率密度函数满足一个分布，比如正态分布，然后利用已知的数据集(X,Y)，来预测参数。预测过程可以参考逻辑回归推到损失函数。 后验概率 由于对所有类别来说P(X)相同，因此贝叶斯判定准则有 ...
ML贝叶斯分类算法
08-08 525
1.贝叶斯定理 2.朴素贝叶斯分类
贝叶斯分类器-机器学习ML
Twinkle
11-20 406
参考： 1.《统计学习方法》李航 2. https://baike.baidu.com/item/%E8%B4%9D%E5%8F%B6%E6%96%AF%E5%88%86%E7%B1%BB%E5%99%A8/1739590?fr=aladdin 3. http://www.cnblogs.com/hexinuaa/articles/2143483.html 4. http:
ML—朴素贝叶斯
掉下个小石头
12-12 1267
华电北风吹 日期：2015/12/11 朴素贝叶斯算法和高斯判别分析一样同属于生成模型。但朴素贝叶斯算法需要特征条件独立性假设，即样本各个特征之间相互独立。 一、朴素贝叶斯模型图示 其中，C1，C2,…,Ck表示k个类别的先验概率，pi1,pi2,…,pin表示 如图所示，对于k分类问题，贝叶斯算法需要构建k个联合概率分布。 二、朴素贝叶斯模
贝叶斯学习、MAP、ML
TH_NUM的博客
06-02 5919
贝叶斯估计与有监督学习如何用贝叶斯估计解决有监督学习问题？ 对于有监督学习，我们的目标实际上是估计一个目标函数f : X->Y，,或目标分布P(Y|X)，其中X是样本的各个feature组成的多维变量，Y是样本的实际分类结果。假设样本X的取值为xk，那么，根据贝叶斯定理，分类结果为yi的概率应该为： 因此，要估计P(Y=yi|X=xk)，只要根据样本，求出P(X=xk|Y=yi)的所有估计，以及
Spark ml pipline交叉验证之朴素贝叶斯.docx
09-03
在本案例中，我们关注的是如何使用它们来训练朴素贝叶斯（Naive Bayes）分类模型，并通过交叉验证来评估模型性能。以下是对标题和描述中涉及知识点的详细说明： 1. **Spark MLlib Pipeline**： Pipeline是Spark ...
ML-朴素贝叶斯-2019-07-01.pdf
07-02
ML-朴素贝叶斯-2019-07-01.pdf
朴素地解释朴素贝叶斯分类器
12-26
朴素地解释朴素贝叶斯分类器，从概率论到贝叶斯分类器的朴素解释
朴素贝叶斯机器学习.zip
最新发布
04-16
机器学习（ML)是计算机系统为了有效地执行特定任务，不使用明确的指令，而依赖模式和推理使用的算法和统计模型的科学研究。它被视为人工智能的一个子集。机器学习算法构建一个基于样本数据的数学模型，称为“训练...
yhangf#ML-NOTE#朴素贝叶斯算法1
07-25
后验概率根据贝叶斯定理计算方式如下：由于朴素贝叶斯算法对条件概率分布作了条件独立性假设，故将$\ ()\ $式带入$\ ()\ $式中得到朴素贝叶斯算法的基本形
ML-贝叶斯-原理及实现
千寻的博客
02-20 1130
目录 1.原理背景 拉普拉斯修正  半朴素贝叶斯 贝叶斯网 scikit-learn实现（GaussianNB，MultinomialNB和BernoulliNB） https://www.cnblogs.com/pinard/p/6074222.html 1.原理背景 贝叶斯公式： 假如我们的分类模型样本是m个样本，每个样本有n个特征，特征输出有K个类别，定义为 ： ...
深入理解朴素贝叶斯（Naive Bayes）
热门推荐
li8zi8fa的博客
07-27 9万+
朴素贝叶斯是经典的机器学习算法之一，也是为数不多的基于概率论的分类算法。朴素贝叶斯原理简单，也很容易实现，多用于文本分类，比如垃圾邮件过滤。该算法虽然简单，但是由于笔者不常用，总是看过即忘，这是写这篇博文的初衷。当然，更大的动力来在于跟大家交流，有论述不妥的地方欢迎指正。
SparkML之分类(一)贝叶斯分类
legotime的博客
07-06 6007
1.1、贝叶斯定理 贝叶斯定理：用来描述两个条件概率之间的关系。比如P(A/B)和P(B/A),那么可以推导：  ，我们下图进行进行说明：                                      假设：，那么有,     ,      : 那么有贝叶斯定理公式： 1.2、朴素贝叶斯分类器（ Naive Bayes Classifi
自动化机器学习（AutoML）之自动贝叶斯调参
林夕
07-24 2万+
一、手把手教你Python实现自动贝叶斯调整超参数 【导读】机器学习中，调参是一项繁琐但至关重要的任务，因为它很大程度上影响了算法的性能。手动调参十分耗时，网格和随机搜索不需要人力，但需要很长的运行时间。因此，诞生了许多自动调整超参数的方法。贝叶斯优化是一种用模型找到函数最小值方法，已经应用于机器学习问题中的超参数搜索，这种方法性能好，同时比随机搜索省时。此外，现在有许多Python库可以实现贝...
pythondcnda算法聚类_ML-hand/5kmeans聚类.ipynb at master · Briareox/ML-hand · GitHub
weixin_36444910的博客
12-23 4万+
{"nbformat":4,"nbformat_minor":0,"metadata":{"colab":{"name":"5kmeans聚类.ipynb","version":"0.3.2","provenance":[],"collapsed_sections":[]},"kernelspec":{"name":"python3","display_name":"Python 3"}},"ce...
【ML】贝叶斯分类和朴素贝叶斯分类
学无止境、积少成多、厚积薄发
12-18 811
一、介绍 贝叶斯定理是英国数学家托马斯·贝叶斯提出的，为了解决一个“逆概率”问题。 贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。而朴素贝叶斯分类是贝叶斯分类中最简单，也是常见的一种分类方法。 贝叶斯算法和决策树、SVM 一样，是分类算法。用来衡量标签和特征之间的概率关系，属于有监督学习算法。 因为贝叶斯是基于概率论的算法，了解算法之前，需要了解概率论的几个概念： 联合概率：A事件和B事件同时发生的概率，P(AB)或者P(A,B)、P(A∩B) 条件概率：P(B|A):
数据挖掘（8）：朴素贝叶斯分类算法原理与实践
onlyForCloud的专栏
09-12 981
http://blog.jobbole.com/90177/ 原文出处： fengfenggirl（@也爱数据挖掘）   欢迎分享原创到伯乐头条 隔了很久没有写数据挖掘系列的文章了，今天介绍一下朴素贝叶斯分类算法，讲一下基本原理，再以文本分类实践。   一个简单的例子 朴素贝叶斯算法是一个典型的统计学习方法，主要理论基础就是一个贝叶斯公式，贝叶斯公式的基本定义
朴素贝叶斯
A-Three
04-20 755
1基本思想 朴素贝叶斯法是基于贝叶斯定理和特征条件独立性假设的分类方法。对于给定的数据集，首先基于特征条件的独立假设学习输入输出的联合概率分布；然后基于此模型，对给定的输入X，利用贝叶斯定理求出后验概率最大的输出Y。 2举例 确定x=(2,S)的标记y，其中X1,X2为特征，取值的集合为{1,2}，{S，M}，Y为类标记{1，-1}。 训练数据（经验数据）： 1
ML之朴素贝叶斯
Rocket,Qian的博客
08-16 211
1.贝叶斯分类器 持续更新！！！ 1.1 简介 1.1.2 贝叶斯分类的基础-贝叶斯定理 P(B∣A)=P(A∣B)P(B)P(A) P(B|A)= {P(A|B)P(B) \over P(A)} P(B∣A)=P(A)P(A∣B)P(B)​ 1.2 朴素贝叶斯法（naive Bayes） 朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的数据集，首先基于特征条件独立假设学习输入输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。 朴素贝叶斯是典型的
贝叶斯与朴素贝叶斯：理论与应用探讨
"ML-朴素贝叶斯-2019-07-01.pdf"是一份关于朴素贝叶斯算法的详细资料，主要讲述了统计学家Thomas Bayes的生活与工作，以及朴素贝叶斯方法的起源和发展。该文档分为几个部分： 人物介绍 - Bayes，全名Thomas Bayes，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值