机器学习笔记(10)---朴素贝叶斯

最新推荐文章于 2024-08-13 17:57:37 发布
原创 最新推荐文章于 2024-08-13 17:57:37 发布
· 582 阅读 · 3 ·
版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习实战之朴素贝叶斯 #朴素贝叶斯 #机器学习

本文介绍了朴素贝叶斯分类方法，重点解析了贝叶斯定理及其在机器学习中的应用。文章通过讲解如何计算关键概率，解决零频率和下溢问题，展示了如何在实际中运用朴素贝叶斯。并提供了机器学习实战中的朴素贝叶斯代码示例。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

基于概率论的分类方法：朴素贝叶斯

前两章KNN和决策树相对来说是很简单的，本章开始学习朴素贝叶斯，使用基于概率论的分类方法。这部分的内容要用一定的统计学和概率论与数理统计的基础。

可参考中国大学MOOC课程概率论与数理统计 由哈工大数学系出品，另外还可参考浙江大学和同济大学的概率论与数理统计课程，相关课程请自行搜索。

朴素贝叶斯总结

贝叶斯相关理论一开始并没有理解，看了好多遍视频，再结合书，来来回回倒腾了好多次，最后再细细体会才算基本上弄明白了。想弄明白贝叶斯相关理论基础需要把前言部分推荐的书《概率论与数理统计》第一章和第二章中条件概率、乘法定理以及全概率弄明白，建议最好跟着老师的视频看。

贝叶斯其实最主要的就是MLiA P60页的这个公式：

p(ci|w)=p(w|ci)p(ci)p(w) p ( c i | w ) = p ( w | c i ) p ( c i ) p ( w )

其中的 w w 是一个句子的词向量（直接理解为句子组成方式即可，如何转换成向量可参考书上）， c i 为类别（侮辱性或非侮辱性）， p(ci|w) p ( c i | w ) 则表示在给定一个句子组成方式的情况下属于类别

最低0.47元/天 解锁文章
机器学习笔记 - 学习朴素贝叶斯概念及应用
学以致用 知行合一
12-19 1031
贝叶斯分类算法是一大类分类算法的总称；贝叶斯分类算法以样本可能属于某类的概率来作为分类依据；朴素贝叶斯分类算法是贝叶斯分类算法中最简单的一种。 朴素的意思是条件概率独立性。朴素贝叶斯方法是一组监督学习算法，基于贝叶斯定理，并在给定类变量值的情况下，每对特征之间的条件独立性的“朴素”假设。尽管它们的假设显然过分简化，但朴素的贝叶斯分类器在许多实际情况下（在著名的文档分类和垃圾邮件过滤中）都表现良好。他们需要少量的训练数据来估计必要的参数。另一方面也是由于过于...
机器学习之朴素贝叶斯(NB)分类算法与Python实现
moxigandashu的博客
05-09 2万+
朴素贝叶斯（Naive Bayesian）是最为广泛使用的分类方法，它以概率论为基础，是基于贝叶斯定理和特征条件独立假设的分类方法。文章总结在学习《机器学习实战》过程中的心得体会，对朴素贝叶斯的原理和Python实现方法进行了归纳总结。
机器学习_阅读笔记_朴素贝叶斯
JC的博客
01-18 240
理论 1、算法优缺点： (1)优点：在数据较少的情况下，依然有效，可以处理多分类问题； (2)缺点：对输入数据的准备方式较为敏感。 (3)适用于标称型数据 2、条件假设： (1)假设变量间相互独立，即p(x|ci)=p(x1|ci)∗p(x2|ci)∗···∗p(xn|ci)p(x|c_i)=p(x_1|c_i)∗p(x_2|c_i)∗···∗p(x_n|c_i)； (xix_i
机器学习笔记4-朴素贝叶斯
zhennang1427的博客
12-20 212
机器学习笔记4-朴素贝叶斯 朴素贝叶斯是基于贝叶斯定理和特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定输入x，利用贝叶斯定理求出后验概率最大的输出y。它经常被应用在文本分类中，包括互联网新闻的分类，垃圾邮件的筛选。 假定P(X,Y)P(X,Y)P(X,Y)是X,YX,YX,Y的联合概率分布。训练数据集T={(x1,y1...
【朴素贝叶斯】深入浅出讲解朴素贝叶斯算法（公式、原理）
程序星空实验室
06-02 5万+
朴素贝叶斯（Naive Bayes）是一种简单经典的分类算法，它的经典应用案例为人所熟知：文本分类（如垃圾邮件过滤）。条件概率：记事件A发生的概率为P(A)，事件B发生的概率为P(B)，则在B事件发生的前提下，A事件发生的概率即为条件概率，记为P(A|B)。
《机器学习实战》斧头书——第四章—概率论之朴素贝叶斯（1）——使用朴素贝叶斯和Python来看看你的留言是不是非侮辱性的
一叶浮萍归大海的博客
06-19 779
目录《机器学习实战》斧头书——朴素贝叶斯一、对文章的说明1.1 对本文有几点说明如下二、项目背景2.1 背景12.2 背景22.3 任务2.4 朴素贝叶斯2.4.1 朴素贝叶斯——朴素的原因2.4.2 朴素贝叶斯——另一个假设2.4.3 朴素贝叶斯——条件概率的公式2.4.4 朴素贝叶斯——种类三、代码3.1 社区留言板的数据集3.2 总体的代码（根据公式和原理编程）3.3 看一下结果---判断的类型3.3.1 这里测试了6条自己写的留言3.3.2 这里测试了6条原始的留言四、总结 《机器学习实战》斧头
朴素贝叶斯基本原理
weixin_44027006的博客
03-14 481
1 贝叶斯： 思想： 知道结果反推原因。 例子： 有1、2、3号工厂，并且没个厂房生产出次品的概率分别为：0.1、0.2、0.3 求出现的次品是由3号工厂所生产的概率 解： 设：事件B为出现次品，事件A1、A2、A3分布代表1、2、3号工厂生产次品 P（A3|B）（注：这里计算的条件概率就是已经知道结果为出现次品了，所以就是求在出现次品的条件下，次品来自3号工厂的概率） = P(A3*B)/P(B...
机器学习笔记--机器学习基本概念（全面总结，通俗易懂）
qq_44815135的博客
01-22 7374
 什么是机器学习？本文主要介绍了机器学习中的常见概念，包括监督学习和无监督学习、半监督学习、弱监督学习、强化学习、欠拟合和过拟合、损失和优化的概念以及常用的激活函数等。
【学习笔记】 陈强-机器学习-Python-Ch8 朴素贝叶斯
2201_76026029的博客
08-13 771
本学习笔记 仅为以防自己忘记了，顺便分享给一起学习的网友们参考。如有不同意见/建议，可以友好讨论。本学习笔记 所有的代码和数据都可以从陈强老师的个人主页上下载陈强.机器学习及Python应用. 北京：高等教育出版社, 2021.数学原理等 详见陈强老师的PPT参考了网友阡之尘埃的Python机器学习06——朴素贝叶斯提示：以下是本篇文章正文内容，下面案例可供参考#定义X与y#全样本随机分20%测试集和80%训练集X, y,
机器学习笔记--4、朴素贝叶斯及python实现
高雅的博客
04-27 1867
朴素贝叶斯 文章目录朴素贝叶斯概率基础随机事件样本空间概率联合概率条件概率独立性全概率公式贝叶斯公式朴素贝叶斯拉普拉斯平滑处理算法处理流程sklearn中的朴素贝叶斯高斯朴素贝叶斯python实现高斯朴素贝叶斯多项式朴素贝叶斯——用于文本分类 朴素贝叶斯模型（Naive Bayesian Model，NBM） 朴素贝叶斯分类器是一个以贝叶斯定理为基础 的多分类的分类器。 对于给定数据，首先基于特征...
(源码)基于Python语言的机器学习笔记项目-MachineLearningNote.zip
最新发布
04-15
# 基于Python语言的机器学习笔记项目——MachineLearningNote ## 项目简介 本项目是一个关于机器学习的笔记项目，旨在通过实践和学习记录关于K近邻算法、决策树和朴素贝叶斯等机器学习算法的实现和应用。 ## 项目...
机器学习——朴素贝叶斯算法
m0_54703897的博客
11-27 1185
朴素贝叶斯实现垃圾邮件分类
贝叶斯公式推导及意义
zealfory
09-05 1万+
条件概率公式设A,B是两个事件，且P(B)>0,则在事件B发生的条件下，事件A发生的条件概率（conditional probability)为： P(A|B)=P(AB)/P(B) 乘法公式1.由条件概率公式得： P(AB)=P(A|B)P(B)=P(B|A)P(A) 上式即为乘法公式；2.乘法公式的推广：对于任何正整数n
机器学习-朴素贝叶斯（李航统计学习方法）
IST-CTO
10-28 425
前言 本文主要对朴素贝叶斯中的例4.1和4.2进行代码实现（文末有完整代码） 一、 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 1.引入库 import numpy as np from functools import reduce 2.读入数据 def loadDataSet(): DataList = [[1, 'S'], [1, 'M'], [1, 'M'], [1, 'S'], [1, 'S'], [2, 'S'], [2, 'M'],
朴素贝叶斯实践
guoguo_dreamfly的专栏
03-21 1321
朴素贝叶斯实践文本分类问题定义如果一个已经知道的文本分类数据，文本为Ti，文本的类别为ci。如果给你一个新的文本，问NT更可能属于某个类别。1、首先我们需要将文本抽象出来，如果要比较文本那要一个统一的标准，而这个标准如何选取呢？我们可以统计所有单词，得到一个词典。2、给词典的每个单词给一个索引，每个索引下存储的值来表示该单词是否出现了，或者说是出现了几次。3、对于每个文本，初始化一个单词向量，根据文
朴素贝叶斯（normal bayes）及其应用（MLIA第四章）
小9的专栏
01-22 737
1. 概念简介 贝叶斯(约1701-1761) Thomas Bayes，英国数学家。约1701年出生于伦敦，做过神甫。1742年成为英国皇家学会会员。1761年4月7日逝世。贝叶斯在数学方面主要研究概率论。他首先将归纳推理法用于概率论基础理论，并创立了贝叶斯统计理论，对于统计决策函数、统计推断、统计的估算等做出了贡献。 贝叶斯定理也称贝叶斯推理，早在18世纪，英国学者贝叶斯(1702～176
机器学习实战-第四章贝叶斯分类-代码理解-读书笔记
弱鸡
03-15 1999
#coding:utf-8 from numpy import * import pdb def load_data_set(): word_list = [['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'], ['maybe', 'not', 'take', 'him', 'to',
机器学习笔记：朴素贝叶斯方法（Naive Bayes）原理和实现
热门推荐
JOURNEY的专栏
04-13 11万+
机器学习笔记：朴素贝叶斯方法（Naive Bayes）原理和实现本文主要描述了朴素贝叶斯分类方法，包括模型导出和学习描述。实例部分总结了《machine learning in action》一书中展示的一个该方法用于句子感情色彩分类的程序。 方法概述 学习（参数估计） 实现：朴素贝叶斯下的文本分类 模型概述 朴素贝叶斯方法，是指 朴素：特征条件独立贝叶斯：基于贝叶斯定理 根据贝叶斯定理，对一个分类
N语言模型预测句子概率
03-09
### 使用N-Gram模型预测句子出现概率 #### N-Gram模型概述 N-Gram是一种基于统计的语言模型，用于预测下一个单词的概率分布。该方法通过分析前\( n-1 \)个词的历史来估计第\( n \)个词的条件概率[^1]。 对于二元语法(Bigram)，即当 \( n=2 \)时，每个词仅依赖于其前一个词。这种简化使得计算变得更为可行，并且能够有效地捕捉到一些局部的语言结构特征[^2]。 #### 计算过程 为了评估某个特定序列（如一句话）的可能性，在实践中通常会采用最大似然估计(Maximum Likelihood Estimation, MLE)来进行参数学习。具体来说： \[ P(w_i | w_{i-1}) = \frac{C(w_{i-1},w_i)}{\sum\limits_v C(w_{i-1},v)} \] 其中， - \(P(w_i|w_{i−1})\) 表示在已知上一个词语的情况下当前词语发生的条件概率； - \(C(x,y)\) 是指一对连续词语 (x, y) 出现次数；而分母则是所有可能后续词汇 v 的总频次之和。 因此，整个句子 S 的联合概率可以通过连乘各个位置上的条件概率得到: \[ P(S)=\prod _{{t}=1}^{T}{P}(w_{{t}}|w_{{t}-1}) \] 这里 T 代表句子长度。 #### 实际应用中的平滑技术 然而，在实际应用场景下，由于数据稀疏性问题的存在，某些组合可能会从未见过或非常罕见，从而导致零概率的情况发生。为了避免这种情况影响整体性能，一般还会引入各种形式的平滑策略，比如加一平滑(Laplace smoothing)[^3]。 ```python import jieba from collections import defaultdict class BigramModel: def __init__(self): self.unigrams = defaultdict(int) self.bigrams = defaultdict(lambda: defaultdict(int)) def train(self, corpus): for sentence in corpus: words = ['<s>'] + list(jieba.cut(sentence)) + ['</s>'] for i in range(1, len(words)): prev_word = words[i-1] curr_word = words[i] self.unigrams[curr_word] += 1 self.bigrams[prev_word][curr_word] += 1 def predict_sentence_prob(self, sentence): prob = 0.0 words = ['<s>'] + list(jieba.cut(sentence)) + ['</s>'] for i in range(1, len(words)): prev_word = words[i-1] curr_word = words[i] bigram_count = self.bigrams.get(prev_word, {}).get(curr_word, 0) unigram_count = self.unigrams.get(prev_word, 0) if unigram_count != 0 and bigram_count != 0: prob += math.log(bigram_count / unigram_count) else: # Handle unseen cases with a small probability or apply smoothing techniques. pass return math.exp(prob) # Example usage corpus = ["我喜欢吃苹果", "他喜欢吃香蕉"] model = BigramModel() model.train(corpus) print(model.predict_sentence_prob("我喜欢吃")) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值