ML | 4.朴素贝叶斯

最新推荐文章于 2024-08-23 17:48:13 发布
最新推荐文章于 2024-08-23 17:48:13 发布
阅读量166 收藏
点赞数
文章标签： 机器学习 深度学习 概率论
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/moneymyone/article/details/130759016
版权

基于概率论的分类方法：朴素贝叶斯

文章目录

概述

朴素贝叶斯可以处理多类别问题，在数据较少的情况下仍然有效，但对于输入数据的准备方式较为敏感。

朴素贝叶斯是贝叶斯决策理论的一部分。

核心思想：选择高概率对应的类别，即选择具有最高概率的决策。

例如，当我们识别了一个障碍物，根据其特征，判断它是汽车的概率为60%，判定是卡车的概率为45%，判定是自行车的概率为30%，判定是行人的概率是5%，则最终我们会选择相信，该障碍物极有可能是一辆汽车，因为它是汽车的概率最大。

条件概率

设A、B是两个事件，且P(A) > 0，则称 P ( B ∣ A ) = P ( A B ) p ( A ) P(B|A) = \frac{P(AB)}{p(A)} P(B∣A)=p(A)P(AB)​为事件A发生的条件下事件B的条件概率
{ P ( A B ) = P ( A ) P ( B ∣ A ) , P(A) > 0 P ( A B ) = P ( B ) P ( A ∣ B ) , P(B) > 0 \begin{cases} P(AB) = P(A) P(B|A), & \text{P(A) > 0} \\ P(AB) = P(B) P(A|B), & \text{P(B) > 0} \\ \end{cases} {P(AB)=P(A)P(B∣A),P(AB)=P(B)P(A∣B),​P(A) > 0P(B) > 0​

贝叶斯公式

设 A 1 , A 2 , . . . , A n A_1,A_2,...,A_n A1​,A2​,...,An​ 是完备事件组，且 P ( A i ) > 0 ( i = 1 , 2 , . . . , n ) P(A_i) > 0(i = 1,2,...,n) P(Ai​)>0(i=1,2,...,n)，B为任意事件， P ( B ) > 0 P(B) > 0 P(B)>0，则
P ( A k ∣ B ) = P ( A k ) P ( B ∣ A k ) P ( B ) = P ( A k ) P ( B ∣ A k ) ∑ i = 1 N ( P ( A i ) P ( B ∣ A i ) ) P(A_k|B) = \frac{P(A_k)P(B|A_k)}{P(B)}=\frac{P(A_k)P(B|A_k)}{\sum_{i=1}^N (P(A_i)P(B|A_i))} P(Ak​∣B)=P(B)P(Ak​)P(B∣Ak​)​=∑i=1N​(P(Ai​)P(B∣Ai​))P(Ak​)P(B∣Ak​)​

朴素贝叶斯分类器

2个假设

  • 特征之间相互独立
  • 每个特征同等重要

Example:文本分类

构建快速过滤器，屏蔽社区侮辱性言论。

  • 首先从文本中构建词向量，将句子转化为向量

  • 基于这些向量计算条件概率

  • 构建分类器

创建一个名为 bayes.py的文件

from numpy import *

# 1. 词表到向量的转换函数
## 创建实验样本
def loadDataSet():
    postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
                 ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
                 ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
                 ['stop', 'posting', 'stupid', 'worthless', 'garbage'],
                 ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
                 ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]
    classVec = [0,1,0,1,0,1]    #1 is abusive, 0 not
    return postingList,classVec
 
 ## 创建一个包含在所有文档中出现的不重复词的列表
def createVocabList(dataSet):
    vocabSet = set([])  #create empty set
    for document in dataSet:
        vocabSet = vocabSet | set(document) #union of the two sets
    return list(vocabSet)

## 词汇表中的单词是否在输入文档中出现
def setOfWords2Vec(vocabList, inputSet):
    returnVec = [0]*len(vocabList)
    for word in inputSet:
        if word in vocabList:
            returnVec[vocabList.index(word)] = 1
        else: print "the word: %s is not in my Vocabulary!" % word
    return returnVec

# 2.朴素贝叶斯分类器训练函数
def trainNB0(trainMatrix,trainCategory):
    numTrainDocs = len(trainMatrix)
    numWords = len(trainMatrix[0])
    pAbusive = sum(trainCategory)/float(numTrainDocs)
    p0Num = ones(numWords); p1Num = ones(numWords)      #change to ones() 
    p0Denom = 2.0; p1Denom = 2.0                        #change to 2.0
    for i in range(numTrainDocs):
        if trainCategory[i] == 1:
            p1Num += trainMatrix[i]
            p1Denom += sum(trainMatrix[i])
        else:
            p0Num += trainMatrix[i]
            p0Denom += sum(trainMatrix[i])
    p1Vect = log(p1Num/p1Denom)          #change to log()
    p0Vect = log(p0Num/p0Denom)          #change to log()
    return p0Vect,p1Vect,pAbusive

# 3. 朴素贝叶斯分类函数
def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1):
    p1 = sum(vec2Classify * p1Vec) + log(pClass1)    #element-wise mult
    p0 = sum(vec2Classify * p0Vec) + log(1.0 - pClass1)
    if p1 > p0:
        return 1
    else: 
        return 0
    
def bagOfWords2VecMN(vocabList, inputSet):
    returnVec = [0]*len(vocabList)
    for word in inputSet:
        if word in vocabList:
            returnVec[vocabList.index(word)] += 1
    return returnVec

def testingNB():
    listOPosts,listClasses = loadDataSet()
    myVocabList = createVocabList(listOPosts)
    trainMat=[]
    for postinDoc in listOPosts:
        trainMat.append(setOfWords2Vec(myVocabList, postinDoc))
    p0V,p1V,pAb = trainNB0(array(trainMat),array(listClasses))
    testEntry = ['love', 'my', 'dalmation']
    thisDoc = array(setOfWords2Vec(myVocabList, testEntry))
    print testEntry,'classified as: ',classifyNB(thisDoc,p0V,p1V,pAb)
    testEntry = ['stupid', 'garbage']
    thisDoc = array(setOfWords2Vec(myVocabList, testEntry))
    print testEntry,'classified as: ',classifyNB(thisDoc,p0V,p1V,pAb)

def textParse(bigString):    #input is big string, #output is word list
    import re
    listOfTokens = re.split(r'\W*', bigString)
    return [tok.lower() for tok in listOfTokens if len(tok) > 2]

测试代码如下：

from bayes import *

def test_randy():
    print("******* 测试词表到向量的转换函数 createVocabList setOfWords2Vec ******* ")
    listOPosts, listClasses = loadDataSet()
    randyVocabList = createVocabList(listOPosts)
    print("============> randyVocabList \n", randyVocabList)
    print("============> cute existed? \n", setOfWords2Vec(randyVocabList, listOPosts[0]))
    print("============> garbage existed? \n", setOfWords2Vec(randyVocabList, listOPosts[3]))

    print("******* 测试朴素贝叶斯分类器训练函数 trainNB0 ******* ")
    trainMat = []
    for postinDoc in listOPosts:
        trainMat.append(setOfWords2Vec(randyVocabList, postinDoc))
    p0V, p1V, pAB = trainNB0(trainMat, listClasses)
    print("============> p0V \n", p0V)
    print("============> p1V \n", p1V)
    print("============> pAB \n", pAB)

    print("******* 测试朴素贝叶斯分类函数 testingNB ******* ")
    testingNB()

if __name__ == "main":
    test_randy

结果为：

******* 测试词表到向量的转换函数 createVocabList setOfWords2Vec ******* 
============> randyVocabList 
 ['maybe', 'so', 'not', 'stop', 'ate', 'cute', 'my', 'dog', 'to', 'park', 'worthless', 'how', 'posting', 'has', 'flea', 'help', 'him', 'love', 'buying', 'is', 'licks', 'food', 'garbage', 'problems', 'dalmation', 'I', 'steak', 'take', 'please', 'stupid', 'quit', 'mr']
============> cute existed? 
 [0, 0, 0, 0, 0, 0, 1, 1, 0, 0, 0, 0, 0, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 1, 0, 0, 0]
============> garbage existed? 
 [0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 1, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 1, 0, 0]
 
******* 测试朴素贝叶斯分类器训练函数 trainNB0 ******* 
============> p0V 
 [-3.25809654 -2.56494936 -3.25809654 -2.56494936 -2.56494936 -2.56494936
 -1.87180218 -2.56494936 -2.56494936 -3.25809654 -3.25809654 -2.56494936
 -3.25809654 -2.56494936 -2.56494936 -2.56494936 -2.15948425 -2.56494936
 -3.25809654 -2.56494936 -2.56494936 -3.25809654 -3.25809654 -2.56494936
 -2.56494936 -2.56494936 -2.56494936 -3.25809654 -2.56494936 -3.25809654
 -3.25809654 -2.56494936]
============> p1V 
 [-2.35137526 -3.04452244 -2.35137526 -2.35137526 -3.04452244 -3.04452244
 -3.04452244 -1.94591015 -2.35137526 -2.35137526 -1.94591015 -3.04452244
 -2.35137526 -3.04452244 -3.04452244 -3.04452244 -2.35137526 -3.04452244
 -2.35137526 -3.04452244 -3.04452244 -2.35137526 -2.35137526 -3.04452244
 -3.04452244 -3.04452244 -3.04452244 -2.35137526 -3.04452244 -1.65822808
 -2.35137526 -3.04452244]
============> pAB 
 0.5
 
******* 测试朴素贝叶斯分类函数 testingNB ******* 
['love', 'my', 'dalmation'] classified as:  0
['stupid', 'garbage'] classified as:  1
['love', 'my', 'dalmation'] classified as:  0
['stupid', 'garbage'] classified as:  1

欢迎关注公众号【三戒纪元】

moneymyone
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spark 3.0 - 9.Ml 朴素贝叶斯中文分类分析与实战
BITDDD小栈
12-02 705
Spark 3.0 ML Naive Bayes 朴素贝叶斯理论与实践。
ML18: 朴素贝叶斯多分类
smart boy
06-06 2277
# -*- coding: utf-8 -*- from __future__ import unicode_literals import numpy as np import sklearn.naive_bayes as nb import matplotlib.pyplot as mp x, y = [], [] with open('/Users/youkechaung/Desktop/算...
【ML实验4】多分类贝叶斯模型
qq_23096319的博客
12-27 755
实验代码获取。
大数据：Spark mlib(二) Naive bayes朴素贝叶斯分类之多元朴素贝叶斯源码分析
沧海一粟
06-23 3151
1. 什么是朴素贝叶斯朴素贝叶斯是一种构建分类器，该分类器基于一个理论：所有朴素贝叶斯分类器都假定样本每个特征与其他特征都不相关2. 朴素贝叶斯概率模型概率模型分类器是一个条件概率模型：（独立的类别特征C有若干类别，条件依赖于若干特征变量F1,F2,...,Fn）      贝叶斯定理：  我们可以看到分母并不依赖于C，而且特征Fn的概率是给定的，分母可以认为是一个常数。这样分子就等价于联合分布模
3. 朴素贝叶斯原理以及代码实现
weixin_43796012的博客
03-04 596
本篇博客主要介绍了朴素贝叶斯算法的原理及实现。朴素贝叶斯是一种常用的分类算法，它的原理是基于贝叶斯定理和条件独立假设。通过学习样本数据中的特征和对应的类别信息，建立概率模型，然后利用贝叶斯定理计算出给定特征的情况下，每个类别的概率，并选择概率最大的类别作为分类结果。在代码实现中，定义了一个Bayes类，包括了均值、方差、高斯概率密度函数、拟合、预测和评估等方法。其中，拟合方法用于训练模型，预测方法用于根据输入的特征预测类别，评估方法用于评估模型的性能。
04.朴素贝叶斯分类
风吴痕的博客
01-10 350
参考： 机器学习实战教程 机器学习实战教程（四）：朴素贝叶斯基础篇之言论过滤器 文章目录1.条件概率2.全概率公式3.贝叶斯推断4.朴素贝叶斯推断5.实践 1.条件概率 在学习计算p1 和p2概率之前，我们需要了解什么是条件概率(Conditional probability)，就是指在事件B发生的情况下，事件A发生的概率，用P(A|B)来表示。 根据上图，可以很清楚地看到在事件B发生的情...
《统计学习方法》—— 4.朴素贝叶斯（Python实现）
Chris_zhangrx的博客
12-25 451
本文主要是在阅读过程中对本书的一些概念摘录，包括一些个人的理解，主要是思想理解不涉及到复杂的公式推导。若有不准确的地方，欢迎留言指正交流 本文完整代码见 github ：https://github.com/anlongstory/awsome-ML-DL-leaning/lihang-reading_notes （欢迎 Star
机器学习之朴素贝叶斯
dxt_snow的博客
07-24 977
机器学习之朴素贝叶斯贝叶斯定理朴素贝叶斯分类朴素贝叶斯分类实例朴素贝叶斯实验 贝叶斯定理 朴素贝叶斯分类 朴素贝叶斯分类实例 朴素贝叶斯实验 ...
ML：正态/朴素贝叶斯法
江南好
10-10 253
朴素贝叶斯分类器不能处理回归问题，但是它能有效地处理多类问题，而不仅仅是两类问题。 朴素贝叶斯算法衍生于贝叶斯法则的一个简单应用。 贝叶斯网络也叫概率图模型。 Gamma公式展示 Γ(n)=(n−1)!∀n∈N\Gamma(n) = (n-1)!\quad\forall n\in\mathbb NΓ(n)=(n−1)!∀n∈N 是通过 Euler integral Γ(z)=∫0∞tz−1e−td...
Spark ml pipline交叉验证之朴素贝叶斯.docx
09-03
在本案例中，我们关注的是如何使用它们来训练朴素贝叶斯（Naive Bayes）分类模型，并通过交叉验证来评估模型性能。以下是对标题和描述中涉及知识点的详细说明： 1. **Spark MLlib Pipeline**： Pipeline是Spark ...
ML-朴素贝叶斯-2019-07-01.pdf
07-02
以上是关于贝叶斯及其相关理论的详细介绍，包括贝叶斯的基本生平、学术贡献、贝叶斯定理的概念以及朴素贝叶斯算法的应用等内容。这些知识点对于理解概率论、统计学以及机器学习领域都有重要意义。
朴素贝叶斯机器学习.zip
04-16
机器学习（ML)是计算机系统为了有效地执行特定任务，不使用明确的指令，而依赖模式和推理使用的算法和统计模型的科学研究。它被视为人工智能的一个子集。机器学习算法构建一个基于样本数据的数学模型，称为“训练...
yhangf#ML-NOTE#朴素贝叶斯算法1
07-25
后验概率根据贝叶斯定理计算方式如下：由于朴素贝叶斯算法对条件概率分布作了条件独立性假设，故将$\ ()\ $式带入$\ ()\ $式中得到朴素贝叶斯算法的基本形
Python库 | autogluon.text-0.2.1b20210512.tar.gz
03-03
它内置了多种经典的文本分类模型，包括传统的机器学习算法（如SVM、朴素贝叶斯）和深度学习模型（如LSTM、BERT）。在训练过程中，库会自动进行模型集成，结合多个模型的预测结果，提高整体性能。同时，通过自动的超...
Machine Learning in Space Weather （1）：Historical Perspectives
u014546828的博客
08-23 434
事实上，许多古代文明，如希腊化时代的希腊、巴比伦、日本、西藏、中国和印度，都有类似的四种或五种元素的列表。太空任务数据的泛滥，以及机器学习技术的出现，意味着我们正处于一个独特的地位，可以大步迈向我们的太空目标。尽管科学家们之前已经观察到了太阳黑子及其与地球磁场变化之间的联系，但卡林顿事件是一个具体的例子，说明了太阳上的活动可能对地球产生潜在的巨大影响。但天气现象并非地球独有。在第六章中，我们利用在辐射带中轨道运行的探测器数据，结合辐射带的简化物理模型和马尔可夫链蒙特卡洛技术，推断了磁层参数中的不确定性。
第九周：机器学习笔记
最新发布
Zcymatics的博客
08-23 687
本周主要对李宏毅的机器学习视频进行了学习，其中学习了CNN的一个特殊的网络结构——spatial Transformer，学会了其怎么完成平移、缩放以及旋转的原理以及期间了解到了Interpolation（插值）算法，最后还了解了其应用场景。此外，继续对Pytorch进行了学习，重点学习了线性层，了解了其改变shape的作用，然后还了解了其他层，例如，归一化层、循环层等特定的网络结构。最后，做了一个小项目，把CIFAR-10的Model复现出来，并学会了使用Sequential。
Machine Learning in Space Weather （2）：Background
u014546828的博客
08-23 285
Machine Learning in Space Weather （2020 by Mandar Chandorkar ） Background Space weather is the branch of physics that studies the time varying phenomena in the solar system. The principal driver of space weather phenomena is the Sun, specifi
机器学习_模型调用预测
weixin_42504788的博客
08-20 183
机器学习_模型调用预测
贝叶斯与朴素贝叶斯：理论与应用探讨
"ML-朴素贝叶斯-2019-07-01.pdf"是一份关于朴素贝叶斯算法的详细资料，主要讲述了统计学家Thomas Bayes的生活与工作，以及朴素贝叶斯方法的起源和发展。该文档分为几个部分： 人物介绍 - Bayes，全名Thomas Bayes，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值