机器学习强基计划4-5：详解半朴素贝叶斯分类TAN原理(附Python实现)

已于 2022-10-17 15:06:20 修改
阅读量2.3k 收藏 70
点赞数 74
分类专栏： 机器学习强基计划 文章标签： 机器学习 python 人工智能 数据挖掘
于 2022-10-13 09:49:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/FRIGIDWINTER/article/details/127199693
版权
本文介绍了TAN算法，一种基于条件互信息的半朴素贝叶斯分类方法。通过计算属性间条件互信息，构建最大带权生成树，保留强依赖关系，用于预测。文章详述了条件互信息的概念，Kruskal算法，并提供了Python实现的四个步骤：计算条件互信息、构造最大生成树、属性依赖关系可视化及预测。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

0 写在前面

机器学习强基计划聚焦深度和广度，加深对机器学习模型的理解与应用。“深”在详细推导算法模型背后的数学原理；“广”在分析多个机器学习模型：决策树、支持向量机、贝叶斯与马尔科夫决策、强化学习等。

🚀详情：机器学习强基计划(附几十种经典模型源码合集)

在机器学习强基计划4-4：详解半朴素贝叶斯分类AODE原理(附Python实现)中，我们向朴素贝叶斯模型里引入了独依赖假设，AODE的基本思路是考虑每个属性与其他属性间的依赖性，做加权平均，而本文介绍的TAN则是采用另一种思路。

1 条件互信息

在机器学习强基计划2-1：一文总结熵——交叉熵、相对熵、互信息(附例题分析)中，我们介绍了互信息的概念，互信息(Mutual I

了解本专栏 订阅专栏 解锁全文
机器学习强基计划4-4：详解半朴素贝叶斯分类AODE原理(附Python实现)
FRIGIDWINTER的博客
10-04 4876
朴素贝叶斯中的属性独立性假设在实际上很难成立，因此引入半朴素贝叶斯分类器，其核心思想是：适当考虑部分属性的相互依赖。本文介绍典型的半朴素贝叶斯分类AODE原理及Python实现
机器学习强基计划4-3：详解朴素贝叶斯分类原理(附例题+Python实现)
FRIGIDWINTER的博客
09-26 2904
全网最详细串讲贝叶斯模型的各个概念——从贝叶斯定理到贝叶斯风险，从一个实例出发讲解朴素贝叶斯的应用以及为什么“朴素”，最后根据算法原理提供了模型Python实现
【ML小结7】贝叶斯分类器：朴素、半朴素贝叶斯
樛木
11-20 665
贝叶斯分类器在预先给定代价的情况下平均风险最小的分类器。 分类原理：通过某对象的先验概率，利用贝叶斯公式计算出其后验概率。 贝叶斯分类器的基础 贝叶斯公式 P(H∣X)=P(X∣H)P(H)P(X)P(H|X)=\frac{P(X|H)P(H)}{P(X)}P(H∣X)=P(X)P(X∣H)P(H)​其中,X表示n个属性的测量描述； H为某种假设，比如假设某观察值X属于某个特定的类别C； P(X)...
再学贝叶斯网络--TAN树型朴素贝叶斯算法
走在前往架构师的路上
07-05 1万+
前言在前面的时间里已经学习过了NB朴素贝叶斯算法， 又刚刚初步的学习了贝叶斯网络的一些基本概念和常用的计算方法。于是就有了上篇初识贝叶斯网络的文章，由于本人最近一直在研究学习>，也接触到了许多与贝叶斯网络相关的知识，可以说朴素贝叶斯算法这些只是我们所了解贝叶斯知识的很小的一部分。今天我要总结的学习成果就是基于NB算法的，叫做Tree Augmented Naive Bays，中文意思就是树型朴素贝
机器学习笔记：朴素贝叶斯方法（Naive Bayes）原理和实现
热门推荐
JOURNEY的专栏
04-13 11万+
机器学习笔记：朴素贝叶斯方法（Naive Bayes）原理和实现本文主要描述了朴素贝叶斯分类方法，包括模型导出和学习描述。实例部分总结了《machine learning in action》一书中展示的一个该方法用于句子感情色彩分类的程序。 方法概述 学习（参数估计） 实现：朴素贝叶斯下的文本分类 模型概述 朴素贝叶斯方法，是指 朴素：特征条件独立贝叶斯：基于贝叶斯定理 根据贝叶斯定理，对一个分类
生成模型之半朴素贝叶斯
kylin_learn的博客
08-29 223
半朴素贝叶斯模型
weixin_30463341的博客
02-10 105
、、、 、、 转载于:https://www.cnblogs.com/tenjl-exv/p/8440025.html
semi-Naive Bayesian（半朴素贝叶斯）
最新发布
一般路过底层打工人的博客
10-21 1168
介绍了半朴素贝叶斯的原理以及相应的代码
朴素贝叶斯分类算法详解与Python实现
qq_43116030的博客
10-27 489
目录一、贝叶斯决策论 一、贝叶斯决策论   对于一个多分类任务，假设有标签y={y1,y2,...,yn}y=\{y_1,y_2,...,y_n\}y={y1​,y2​,...,yn​}，记λij\lambda_{ij}λij​为将真实标签为yjy_jyj​的样本误分类为yiy_iyi​的代价，则可以得到将样本误分类为yiy_iyi​的期望代价： loss(yi∣x)=∑j=1nλijP(yj∣x)loss(y_i|x)=\sum_{j=1}^{n}{\lambda_{ij}P(y_j|x)}loss(yi
机器学习强基计划0-1：教程导读(附几十种经典模型源码合集)
FRIGIDWINTER的博客
07-13 8194
订阅专栏前，请先看本文章简介
机器学习强基计划10-3：详解Bagging与随机森林算法(附Python实现)_强化学习 随机森林
2401_84140040的博客
05-02 86
机器学习强基计划聚焦深度和广度，加深对机器学习模型的理解与应用。“深”在详细推导算法模型背后的数学原理；“广”在分析多个机器学习模型：决策树、支持向量机、贝叶斯与马尔科夫决策、强化学习等。强基计划实现从理论到实践的全面覆盖，由本人亲自从底层编写、测试与文章配套的各个经典算法，不依赖于现有库，可以大大加深对算法的理解。机器学习强基计划(附几十种经典模型源码)Python崛起并且风靡，因为优点多、应用领域广、被大牛们认可。
机器学习-半朴素贝叶斯
lyn5284767的专栏
09-06 1011
一，介绍 朴素贝叶斯采用了属性独立的假设条件，这在现实生活中是难以成立的，因而人们尝试对属性条件进行了一定程度放松，假设每个属性最多依赖另一个属性，产生了一类称为半朴素贝叶斯的学习方法：                                                                  半朴素贝叶斯的基本思路是适当考虑一部分依赖性强的属性。最常用的策略是“独依赖...
贝叶斯分类器-2：半朴素贝叶斯分类器
super
02-02 4620
朴素贝叶斯存在两个问题需要考虑：1、特征独立性假设；2、在训练样本不足的前提下先验概率的估计方法。半朴素贝叶斯改进了这两个问题。
【贝叶斯分类3】半朴素贝叶斯分类器
NoBug
06-22 3317
  我们根据贝叶斯决策论，或者说是贝叶斯分类原理，首先得到的是一个期望损失【R(ci∣x)=∑j=1NλijP(cj∣x)R(c_i|x)=\sum_{j=1}^N\lambda_{ij}P(c_j|x)R(ci​∣x)=∑j=1N​λij​P(cj​∣x)】。贝叶斯判定准则就是要让总体风险最小，从而可推到要求部分风险最小【h∗(x)=arg minc∈YR(c∣x)h^*(x)=arg\ min_{c\in Y}R(c|x)h∗(x)=arg minc∈Y​R(c∣x)】。   可以把ccc 看作“类别”
机器学习算法——贝叶斯分类器4（半朴素贝叶斯分类器）
Vicky_xiduoduo的博客
04-29 2418
为了降低贝叶斯公式中估计后验概率的困难，朴素贝叶斯分类器采用了属性条件独立性假设，但在现实任务中这个假设往往很难成立。于是，人们尝试对属性条件独立性假设进行一定程度的放松，由此产生了一类称为“半朴素贝叶斯分类器”的学习方法。 半朴素分类器的基本思想是适当考虑一部分属性间的相互依赖信息，从而既不需进行完全联合概率计算，又不至于彻底忽略了比较强的属性依赖关系。“独依赖估计”（One-Dependent Estimator,ODE）是半朴素贝叶斯分类器常用的一种策略。即假设每个属性在类别之外最多仅依赖于一个其它
朴素贝叶斯 半朴素贝叶斯_从零开始实施朴素贝叶斯
weixin_26735933的博客
09-11 841
朴素贝叶斯 半朴素贝叶斯I have a little knowledge of LaTeX and I just found out how to show them in a Medium Post. Hence I am going to use my truly “useful” LaTex knowledge to start a new series on something that...
朴素和半朴素贝叶斯
bravery_again的博客
07-22 1397
引入 贝叶斯决策论是概率框架下实施决策的基本方法，它基于概率和误判误差的最小化来进行判别，是一种分类问题的解法。 原理 首先，将数据及其属性记为x，对于多分类任务，其可能的取值有N种，设为{c1,c2,c3.....cNc1,c2,c3.....cNc_1,c_2,c_3.....c_N}，统称为c。数据x的正确分类记为cxcxc_x。于是将算法的正确率记为： ​ ...
【机器学习】贝叶斯分类器 | 分类器基本原理，朴素贝叶斯，半朴素贝叶斯，贝叶斯网
专注于人工智能的算法与应用
03-12 1785
在学习贝叶斯分类器的过程中​ 我们的学习本质上是对于众多的属性，x1,x2,x3 到一个结果分类y，线性分类器什么的是训练集拟合一个函数从众多属性x到y，SVM是学习一个分界线划分不同的y对应的x，而贝叶斯分类器本质上是对数据集观测做统计结果从而对未知的属性进行预测​ 传统机器学习果然就是手工提取特征，就是比如属性之间的依赖关系也得靠我们人工设计，甚至会有很多的假设。
【AI数学原理】概率机器学习（四）：半朴素贝叶斯之TAN算法实例
木盏
05-05 9361
概率机器学习的系列博文已经写到第四篇了，依然关注者乏。虽说来只是自己的学习记录，不过这样下去显得自己贡献值比较低下。于是今天换一种模式来写博文——结合代码实现。 欢迎各位指点交流~ 预备知识： 1.朴素贝叶斯算法 2.Python代码阅读能力：基于python3.6实现，无须安装机器学习模块。 1. 半朴素贝叶斯的“半” 前面说到，朴素贝叶斯(NB)的‘朴素’就体现在它假设...
评论 30
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Mr.Winter`

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值