机器学习--朴素贝叶斯分类器

最新推荐文章于 2023-06-28 11:30:00 发布
最新推荐文章于 2023-06-28 11:30:00 发布
阅读量2.6k 收藏 7
点赞数 4
分类专栏： 机器学习 文章标签： 机器学习 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liiuyizeliuyize/article/details/131097385
版权

第1关：条件概率

什么是条件概率

概率指的是某一事件A发生的可能性，表示为P(A)。而条件概率指的是某一事件A已经发生了条件下，另一事件B发生的可能性，表示为P(B|A)，举个例子：

今天有25%的可能性下雨，即P(下雨)=0.25; 今天75%的可能性是晴天，即P(晴天)=0.75; 如果下雨，我有75%的可能性穿外套，即P(穿外套|下雨)=0.75; 如果下雨，我有25%的可能性穿T恤，即P(穿T恤|下雨)=0.25;

从上述例子可以看出，条件概率描述的是|右边的事件已经发生之后，左边的事件发生的可能性，而不是两个事件同时发生的可能性！

  • 1、P(AB)表示的是事件A与事件B同时发生的概率，P(A|B)表示的是事件B已经发生的条件下，事件A发生的概率。

    A、对   B、错

  • 2、从1,2,...,15中小明和小红两人各任取一个数字，现已知小明取到的数字是5的倍数，请问小明取到的数大于小红取到的数的概率是多少？

    A、7/14   B、8/14  C、9/14   D、10/14

答案：1、A        2、C 

第2关：贝叶斯公式

全概率公式：

当为了达到某种目的，但是达到目的有很多种方式，如果想知道通过所有方式能够达到目的的概率是多少的话，就需要用到全概率公式（上面的例子就是这种情况！）。全概率公式的定义如下：

若事件B1​,B2​,...,Bn​两两互不相容，并且其概率和为1。那么对于任意一个事件C都满足：

P(C)=P(B1​)P(C∣B1​)+...+P(Bn​)P(C∣Bn​)=i=1∑n​P(Bi​)P(C∣Bi​)

贝叶斯公式：

当已知引发事件发生的各种原因的概率，想要算该事件发生的概率时，我们可以用全概率公式。但如果现在反过来，已知事件已经发生了，但想要计算引发该事件的各种原因的概率时，我们就需要用到贝叶斯公式了。

贝叶斯公式定义如下，其中A表示已经发生的事件，Bi为导致事件A发生的第i个原因：

P(Bi​∣A)=∑i=1n​P(A∣Bi​)P(Bi​)P(A∣Bi​)P(Bi​)​

贝叶斯公式看起来比较复杂，其实非常简单，分子部分是乘法定理，分母部分是全概率公式（分母等于P(A)）。

如果我们对贝叶斯公式进行一个简单的数学变换（两边同时乘以分母，再两边同时除以P(Bi)）。就能够得到如下公式：

P(A∣Bi​)=P(Bi​)P(Bi​∣A)P(A)​

这个公式是朴素贝叶斯分类算法的核心数学公式。

  • 1、对以往数据分析结果表明，当机器调整得良好时，产品的合格率为98%，而当机器发生某种故障时，产品的合格率为55%。每天早上机器开动时，机器调整得良好的概率为95%。计算已知某日早上第一件产品是合格时，机器调整得良好的概率是多少？

    A、0.94    B、0.95    C、0.96    D、0.97

  • 2、一批产品共8件，其中正品6件，次品2件。现不放回地从中取产品两次，每次一件，求第二次取得正品的概率。

    A、1/4    B、1/2    C、3/4    D、1

答案：1、D   2、C        

第3关：朴素贝叶斯分类算法流程

import numpy as np
class NaiveBayesClassifier(object):
    def __init__(self):
        '''
        self.label_prob表示每种类别在数据中出现的概率
        例如，{0:0.333, 1:0.667}表示数据中类别0出现的概率为0.333，类别1的概率为0.667
        '''
        self.label_prob = {}
        '''
        self.condition_prob表示每种类别确定的条件下各个特征出现的概率
        例如训练数据集中的特征为 [[2, 1, 1],
                              [1, 2, 2],
                              [2, 2, 2],
                              [2, 1, 2],
                              [1, 2, 3]]
        标签为[1, 0, 1, 0, 1]
        那么当标签为0时第0列的值为1的概率为0.5，值为2的概率为0.5;
        当标签为0时第1列的值为1的概率为0.5，值为2的概率为0.5;
        当标签为0时第2列的值为1的概率为0，值为2的概率为1，值为3的概率为0;
        当标签为1时第0列的值为1的概率为0.333，值为2的概率为0.666;
        当标签为1时第1列的值为1的概率为0.333，值为2的概率为0.666;
        当标签为1时第2列的值为1的概率为0.333，值为2的概率为0.333,值为3的概率为0.333;
        因此self.label_prob的值如下：     
        {
            0:{
                0:{
                    1:0.5
                    2:0.5
                }
                1:{
                    1:0.5
                    2:0.5
                }
                2:{
                    1:0
                    2:1
                    3:0
                }
            }
            1:
            {
                0:{
                    1:0.333
                    2:0.666
                }
                1:{
                    1:0.333
                    2:0.666
                }
                2:{
                    1:0.333
                    2:0.333
                    3:0.333
                }
            }
        }
        '''
        self.condition_prob = {}
    def fit(self, feature, label):
        '''
        对模型进行训练，需要将各种概率分别保存在self.label_prob和self.condition_prob中
        :param feature: 训练数据集所有特征组成的ndarray
        :param label:训练数据集中所有标签组成的ndarray
        :return: 无返回
        '''

        #********* Begin *********#
        row_num=len(feature)
        col_num=len(feature[0])
        for c in label:
            if c in self.label_prob:
                self.label_prob[c]+=1
            else:
                self.label_prob[c]=1;
        for key in  self.label_prob.keys():
            self.label_prob[key]/=row_num
            self.condition_prob[key]={}
            for i in range(col_num):
                self.condition_prob[key][i]={}
                for k in np.unique(feature[:,i],axis=0):
                    self.condition_prob[key][i][k]=0
        for i in range(len(feature)):
            for j in range(len(feature[i])):
                if feature[i][j] in self.condition_prob[label[i]]:
                    self.condition_prob[label[i]][j][feature[i][j]]+=1
                else:
                    self.condition_prob[label[i]][j][feature[i][j]]=1
        for label_key in self.condition_prob.keys():
            for k in self.condition_prob[label_key].keys():
                total=0
                for v in self.condition_prob[label_key][k].values():
                    total +=v
                for kk in self.condition_prob[label_key][k].keys():
                    self.condition_prob[label_key][k][kk] /=total

        #********* End *********#

    def predict(self, feature):
        '''
        对数据进行预测，返回预测结果
        :param feature:测试数据集所有特征组成的ndarray
        :return:
        '''
        # ********* Begin *********#
        result =[]
        for i,f in enumerate(feature):
            prob=np.zeros(len(self.label_prob.keys()))
            ii=0
            for label,label_prob in self.label_prob.items():
                prob[ii]=label_prob
                for  j  in range(len(feature[0])):
                    prob[ii] *= self.condition_prob[label][j][f[j]]
                ii+=1
            result.append(list(self.label_prob.keys())[np.argmax(prob)])
        return np.array(result)
        #********* End *********#

第4关：拉普拉斯平滑 

import numpy as np

class NaiveBayesClassifier(object):
    def __init__(self):
        '''
        self.label_prob表示每种类别在数据中出现的概率
        例如，{0:0.333, 1:0.667}表示数据中类别0出现的概率为0.333，类别1的概率为0.667
        '''
        self.label_prob = {}
        '''
        self.condition_prob表示每种类别确定的条件下各个特征出现的概率
        例如训练数据集中的特征为 [[2, 1, 1],
                              [1, 2, 2],
                              [2, 2, 2],
                              [2, 1, 2],
                              [1, 2, 3]]
        标签为[1, 0, 1, 0, 1]
        那么当标签为0时第0列的值为1的概率为0.5，值为2的概率为0.5;
        当标签为0时第1列的值为1的概率为0.5，值为2的概率为0.5;
        当标签为0时第2列的值为1的概率为0，值为2的概率为1，值为3的概率为0;
        当标签为1时第0列的值为1的概率为0.333，值为2的概率为0.666;
        当标签为1时第1列的值为1的概率为0.333，值为2的概率为0.666;
        当标签为1时第2列的值为1的概率为0.333，值为2的概率为0.333,值为3的概率为0.333;
        因此self.label_prob的值如下：     
        {
            0:{
                0:{
                    1:0.5
                    2:0.5
                }
                1:{
                    1:0.5
                    2:0.5
                }
                2:{
                    1:0
                    2:1
                    3:0
                }
            }
            1:
            {
                0:{
                    1:0.333
                    2:0.666
                }
                1:{
                    1:0.333
                    2:0.666
                }
                2:{
                    1:0.333
                    2:0.333
                    3:0.333
                }
            }
        }
        '''
        self.condition_prob = {}

    def fit(self, feature, label):
        '''
        对模型进行训练，需要将各种概率分别保存在self.label_prob和self.condition_prob中
        :param feature: 训练数据集所有特征组成的ndarray
        :param label:训练数据集中所有标签组成的ndarray
        :return: 无返回
        '''

        #********* Begin *********#
        row_num=len(feature)
        col_num=len(feature[0])
        unique_label_count=len(set(label))
        for c in label:
            if c in self.label_prob:
                self.label_prob[c]+=1
            else:
                self.label_prob[c]=1
        for key in self.label_prob.keys():
            self.label_prob[key]+=1
            self.label_prob[key]/=(unique_label_count+row_num)
            self.condition_prob[key]={}
            for i in range(col_num):
                self.condition_prob[key][i]={}
                for k in np.unique(feature[:,i],axis=0):
                    self.condition_prob[key][i][k]=1
        for i in range(len(feature)):
            for j in range(len(feature[i])):
                if feature[i][j] in self.condition_prob[label[i]]:
                    self.condition_prob[label[i]][j][feature[i][j]]+=1
        
        for label_key in self.condition_prob.keys():
            for k in self.condition_prob[label_key].keys():
                total =len(self.condition_prob[label_key].keys())
                for v in self.condition_prob[label_key][k].values():
                    total+=v
                for kk in self.condition_prob[label_key][k].keys():
                    self.condition_prob[label_key][k][kk]/=total
                #********* End *********#


    def predict(self, feature):
        '''
        对数据进行预测，返回预测结果
        :param feature:测试数据集所有特征组成的ndarray
        :return:
        '''

        result = []
        # 对每条测试数据都进行预测
        for i, f in enumerate(feature):
            # 可能的类别的概率
            prob = np.zeros(len(self.label_prob.keys()))
            ii = 0
            for label, label_prob in self.label_prob.items():
                # 计算概率
                prob[ii] = label_prob
                for j in range(len(feature[0])):
                    prob[ii] *= self.condition_prob[label][j][f[j]]
                ii += 1
            # 取概率最大的类别作为结果
            result.append(list(self.label_prob.keys())[np.argmax(prob)])
        return np.array(result)

第5关：sklearn中的朴素贝叶斯分类器 

from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.feature_extraction.text import TfidfTransformer

def news_predict(train_sample, train_label, test_sample):
    '''
    训练模型并进行预测，返回预测结果
    :param train_sample:原始训练集中的新闻文本，类型为ndarray
    :param train_label:训练集中新闻文本对应的主题标签，类型为ndarray
    :param test_sample:原始测试集中的新闻文本，类型为ndarray
    :return 预测结果，类型为ndarray
    '''
    #********* Begin *********#
    vec=CountVectorizer()
    train_sample=vec.fit_transform(train_sample)
    test_sample=vec.transform(test_sample)
    
    tfidf=TfidfTransformer()

    train_sample =tfidf.fit_transform(train_sample)
    test_sample=tfidf.transform(test_sample)
    mnb=MultinomialNB(alpha=0.01)
    mnb.fit(train_sample,train_label)
    predict=mnb.predict(test_sample)
    return predict
    #********* End *********#

 

liuyizeliuyize
关注
  • 4
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
朴素贝叶斯算法
Junds0的博客
03-20 161
在炎热的夏天你可能需要买一个大西瓜来解暑，但虽然你的挑西瓜的经验很老道，但还是会有挑错的时候。假设现在在你面前有一个纹路清晰，拍打西瓜后声音浑厚，按照你的经验来看这个西瓜是好瓜的概率有80%，不是好瓜的概率有20%。那么在这个时候你下意识会认为这个西瓜是好瓜，因为它是好瓜的概率大于不是好瓜的概率。朴素贝叶斯分类算法的预测思想和引例中挑西瓜的思想一样，会根据以往的经验计算出待预测数据分别为所有类别的概率，然后挑选其中概率最高的类别作为分类结果。feature：训练数据集所有特征组成的ndarray。
人工智能-项目实践-朴素贝叶斯分类器-朴素贝叶斯文本分类器
03-25
人工智能_项目实践_朴素贝叶斯分类器_朴素贝叶斯文本分类器 **数据：**搜狗文本分类语料库 **分类器：**朴素贝叶斯分类器 NBC(Naive Bayesian Classifier) **编程语言：**Python+jieba分词库+nltk+sklearn
机器学习--朴素贝叶斯分类器（python手动实现）
佩亦之的博客
03-25 3594
机器学习-朴素贝叶斯简介名词介绍公式概率分布数据集及代码实现 简介 朴素贝叶斯（Naive Bayes）是基于贝叶斯定理和概率论预测样本类别的概率算法，而朴素一词的来源就是假设各特征之间相互独立。朴素贝叶斯属于监督学习的生成模型，实现简单，没有迭代，并有坚实的数学理论（即贝叶斯定理）作为支撑。在大量样本下会有较好的表现，不适用于输入向量的特征条件有关联的场景。 关于贝叶斯定理的详细介绍 名词介绍 ...
【NLP入门教程】十七、朴素贝叶斯分类器
m0_68629936的博客
06-28 412
朴素贝叶斯分类器基于贝叶斯定理，利用特征的条件概率来进行分类。假设有一个样本x=(x₁, x₂, …, xn)，其中x₁, x₂, …, xn是特征。朴素贝叶斯分类器的核心思想是假设给定类别C的条件下，特征之间是相互独立的。根据贝叶斯定理，我们可以计算后验概率P(C|x)如下：其中，P©是类别C的先验概率，P(x|C)是在给定类别C的情况下特征x的条件概率，P(x)是特征x的概率。
朴素贝叶斯法
Im_Chenxi的博客
05-11 428
    朴素贝叶斯法是基于贝叶斯原理与特征独立假设的分类方法。    朴素贝叶斯法通过训练数据集的学习联合概率分布P(X,Y)。一、朴素贝叶斯算法学习过程：    1.学习先验概率分布:,       2.学习条件概率分布：    3.对给定的新数据x输入，列出x对应后验概率公式，使得后验概率最大化的类作为x的输出。直观理解：在x这个输入条件下，根据训练数据集的分布情况，找出使x最大化后验概率的输...
朴素贝叶斯分类器
10-14
一个简单自己写的朴素贝叶斯分类器
朴素贝叶斯分类器（Naive Bayes Classifiers）
热门推荐
K.Sun
03-03 5万+
原文地址：Naive Bayes Classifiers 本文讨论的是朴素贝叶斯分类器（ Naive Bayes classifiers）背后的理论以及其的实现。朴素贝叶斯分类器是分类算法集合中基于贝叶斯理论的一种算法。它不是单一存在的，而是一个算法家族，在这个算法家族中它们都有共同的规则。例如每个被分类的特征对与其他的特征对都是相互独立的。开始之前，先看一下数据集。这是一个虚构的数据集，这个
朴素贝叶斯–分类器
最后半支烟的博客
08-26 514
朴素贝叶斯–分类器 有一个待分类的样本x={a1,a2,a3,⋯,am}x=\left\lbrace a_1,a_2,a_3,\cdots ,a_m \right\rbrace ，每一个a都是这个样本的一个属性值。 类别的集合为C={y1,y2,⋯,yn}C=\left\lbrace y_1,y_2,\cdots ,y_n \right\rbrace 分别计算xx属于y1,y2⋯yny_1,y_2\
机器学习-使用朴素贝叶斯分类器实现垃圾邮件检测（python代码+数据集）
04-14
软件: anaconda jupyter notebook 运行代码文件：naive bayes.ipynb python环境
机器学习文本分类基于TF-IDF+手写朴素贝叶斯
02-08
人工智能大作业，文本分类，TF-IDF+手写朴素贝叶斯。本项目利用分类算法实现对文本的数据挖掘，主要包括：1. 语料库的构建，主要从搜狗语料库、复旦大学中文语料库等搜集文章作为...朴素贝叶斯分类器要手动编写完成。
机器学习-朴素贝叶斯代码
12-23
机器学习中的朴素贝叶斯分类器，基于Python代码实现，其中有文本分类垃圾邮件过滤以及使用贝叶斯分类器从个人广告中获取区域倾向等实例，在Pycharm中测试通过
Python机器学习(scikit-learn)：监督学习 - 朴素贝叶斯（分类器）-谢TS的博客.pdf
07-19
朴素贝叶斯分类器与线型模型分类器非常相似，但它的训练速度往往更快。这种高效率所付出的代价是，朴素贝叶斯模型的泛化能力比线型模型分类器（如 LogisticRegression 和 LinearSVC）稍差。朴素贝叶斯训练模型高效的...
机器学习实战用朴素贝叶斯分类器推测
最新发布
04-29
机器学习 机器学习实战：一、用朴素贝叶斯分类器推测11篇存在争议的《联邦党人文集》的作者 二、使用KNN、SVM、逻辑回归、K-Means方法对高斯分布分类 三、实现协同滤波算法进行电影推荐系统
机器学习之朴素贝叶斯分类器原理详解、公式推导（手推）、面试问题、简单实例（python实现，sklearn调包）
如果没有躺赢的命，那就站起来奔跑，你的努力一定会对得起这一路的颠沛流离。
02-07 1万+
主要内容分为理论推导和代码实现以及面试宝典三个部分。 理论推导主要是贝叶斯的推导以及朴素贝叶斯计算实例。 代码实现包括手动实现朴素贝叶斯和sklearn调用，实例有3个，分别对应离散型诗句和连续型数据两种情况。 面试宝典是一部分《机器学习》中的课后习题和一些面试题。
算法杂货铺——分类算法之朴素贝叶斯分类(Naive Bayesian classification)
weixin_34248849的博客
09-17 3573
0、写在前面的话       我个人一直很喜欢算法一类的东西，在我看来算法是人类智慧的精华，其中蕴含着无与伦比的美感。而每次将学过的算法应用到实际中，并解决了实际问题后，那种快感更是我在其它地方体会不到的。       一直想写关于算法的博文，也曾写过零散的两篇，但也许是相比于工程性文章来说太小众，并没有引起大家的兴趣。最近面临毕业找工作，为了能给自己增加筹码，决定再次复习算法方面的知识，我决...
Python机器学习--分类算法--朴素贝叶斯算法
寒江之雪，披蓑独钓的博客
08-22 1883
朴素贝叶斯算法 朴素贝叶斯算法类型 朴素贝叶斯算法属于有监督学习中的分类算法，基于贝叶斯理论和特征相互独立的假设，因为假设特征相互独立让问题变得简单，因此称为朴素. 朴素贝叶斯算法分为:伯努利朴素贝叶斯,高斯朴素贝叶斯,多项式朴素贝叶斯,因此此篇,篇幅较长,需要看某一个算法,可以使用ctrl+F进行搜索即可. 朴素贝叶斯算法第一站:概率公式 条件概率公式为(即在事件B发生的情况下,事件A发生的概率): 当A,B相互独立时 P(AB) = P(A)∗P(B) 全概率公式: 贝叶斯公式: 朴素贝叶斯算法
机器学习-贝叶斯分类器
04-12
贝叶斯分类器是一种常见的机器...贝叶斯分类器有几种不同的变体，其中最常见的是朴素贝叶斯分类器。朴素贝叶斯分类器假设特征之间是相互独立的，这样可以简化计算过程。它在文本分类、垃圾邮件过滤等领域得到广泛应用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值