学习决策树必须要了解的信息论知识

最新推荐文章于 2024-10-13 22:47:48 发布
最新推荐文章于 2024-10-13 22:47:48 发布
阅读量198 收藏 2
点赞数 6
文章标签： 决策树 算法 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cghhbvcgjb/article/details/141899924
版权
熵

系统越有序，熵值越低；系统越混乱或者分散，熵值越高

信息熵

从信息的完整性上进行的描述：当系统的有序状态一致时，数据越集中的地方熵值越小；数据越分散的地方熵值越大

从信息的有序性上进行的描述：当数据量一致时，系统越有序，熵值越低；系统越混乱或者分散，熵值越高。

信息熵是度量样本集合纯度最常用的一种指标。

 信息增益

以某特征划分数据集前后的熵的差值。熵越大，样本的不确定性越大。因此可以使用划分前后集合熵的差值来衡量使用当前特征对于样本集合D划分的好坏

信息增益 = entroy(前) - entroy(后)

 所以可以得到信息增益的计算公式

 

信息增益率

信息增益率是由信息增益和属性a对应的固有值做除法求的

信息增益上面已经说了怎么求了

固有值用下面的公式求

 基尼值和基尼指数

基尼值：从数据集D中随机抽取两个样本，其类别标记不一致的概率    

基尼值越小，数据集D的纯度越高

计算基尼值时只有两种类别（对于有三种类别的，分为aa和其他、bb和其他、cc和其他）

 基尼指数：一般选择使划分后基尼指数最小的属性作为最优化分属性

 

cz? 帅哥:null
关注
【机器学习】决策树（理论）
酱懵静的博客
03-02 2万+
决策树（Decision Tree）是一种分类和回归方法，是基于各种情况发生的所需条件构成决策树，以实现期望最大化的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。它的运行机制非常通俗易懂，因此被誉为机器学习中，最“友好”的算法。决策树由结点和有向边组成。结点有两种类型：内部结点（圆）和叶结点（矩形）。其中，内部结点表示一个特征（属性）；叶结点表示一个类别。而有向边则对应其所属内部结点的可选项（属性的取值范围）。
机器学习-决策树
2301_76801094的博客
04-30 1932
决策树（Decision Tree）是一种决策分析方法，它基于已知的各种情况发生概率来构建，旨在求取净现值的期望值大于等于零的概率，进而评价项目风险并判断其可行性。这种方法以图形的方式直观运用概率分析，由于决策分支的图形表现类似于树的枝干，因此得名决策树。在机器学习中，决策树是一个预测模型，它代表对象属性与对象值之间的一种映射关系。决策树是一种树形结构，其中每个内部节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶节点则代表一种类别。在分类问题中，决策树是一种常用的分类方法，它属于监督学习范畴。
机器学习基础 决策树算法
mengxianglong123的博客
05-30 5228
文章目录一、决策树算法简介二、决策树分类原理1. 熵1.1 概念1.2 案例2. 决策树的划分依据一----信息增益2.1 概念2.2 案例3. 决策树的划分依据二----信息增益率3.1 概念3.2 案例3.2.1 案例一3.2.2 案例二3.3 为什么使用C4.5要好4. 决策树的划分依据三 ----基尼值和基尼指数4.1 概念4.2 案例5. 小结5.1 常见决策树的启发函数比较5.1.1 ID3 算法5.1.2 C4.5算法5.1.3 CART算法5.1.4 多变量决策树(multi-variate
机器学习 —— 决策树
DreamWendy的博客
10-29 1万+
一、决策树的基本概念
一文了解决策树
陨星落云的博客
05-07 1376
决策树 决策树是一种非参数监督学习算法，用于分类和回归任务。它具有分层的树结构，由根节点、分支、内部节点和叶节点组成。 从上图中可以看出，决策树从一个根节点开始，它没有任何传入的分支。然后从根节点传出的分支馈送到内部节点，也称为决策节点。根据可用特征，两种节点类型都进行评估以形成同质子集，这些子集由叶节点或终端节点表示。叶节点代表数据集中所有可能的结果。例如，假设您正在尝试评估是否应该去冲浪，您可以使用以下决策规则来做出选择： 这种类型的流程图结构还创建了一个易于理解的决策表示，允许组织中的不同组更好地
机器学习——决策树
qq_52669357的博客
03-22 1723
决策树的简述决策谁概述 决策谁 概述 同样先来看看下面的问题吧。现在我要在网上买一件衣服，我会先去看看哪一个码的衣服才合身，才决定是否购买。 注意看第一张图片，放在代码的世界中是否觉得它的构造有点熟悉呢？——树结构。现在这棵树在帮助我对是否买这件衣服做决策，因此我们现在就可以把它叫做一颗决策树。 概念 决策树是一种可以用于分类与回归的机器学习算法，但主要用于分类。用于分类的决策树是一种描述对实例进行分类的树形结构。决策树由结点和边组成，其中结点分为内部结点和叶子结点，内部结点表示一个特征或者属性，叶子结点表
决策树与随机森林(从入门到精通)
热门推荐
KI的博客
07-06 14万+
决策树（decision tree）是一种基本的分类与回归方法，本文主要讨论用于分类的决策树。决策树学习通常包括三个步骤：特征选择，决策树的生成和决策树的修剪。而随机森林则是由多个决策树所构成的一种分类器，更准确的说，随机森林是由多个弱分类器组合形成的强分类器。............
机器学习 --- 决策树
学习日常分享
06-23 1万+
第1关：什么是决策树 任务描述 本关任务：根据本节课所学知识完成本关所设置的选择题。 相关知识 为了完成本关任务，你需要掌握决策树的相关基础知识。 引例 在炎热的夏天，没有什么比冰镇后的西瓜更能令人感到心旷神怡的了。现在我要去水果店买西瓜，但什么样的西瓜能入我法眼呢？那根据我的个人习惯，在挑西瓜时可能就有这样的脑回路。 假设现在水果店里有3个西瓜，它们的属性如下： 那么根据我的脑回路我会买1和2号西瓜。 其实我的脑回路可以看成一棵树，并且这棵树能够帮助我对买不买西瓜这件事做决策，所以它就是一棵决策树。
开始学习机器学习时你必须要了解的模型有哪些？机器学习系列之决策树基础篇
w0714的博客
09-09 3万+
前言：为什么要了解决策树？ 决策树，一个只要接触了机器学习就必然要学会的算法模型。 决策树的算法原理虽然简单，但是模型本身适用面极广，且在分类问题和回归问题上均有良好的表现，外加使用简单，无需人为进行过多变量调整和数据预处理，同时生成规则清晰，模型本身可解释性非常强，因此在各个行业均有广泛应用。 也就是说，只要你学习研究或者接触的行业需要用到分类回归算法，那么决策树必然是你需要掌握的，无论导师也好公司领导也好，都会要求你理解并懂得如何使用决策树。 那么本篇文章，就会带大家系统的了解什么是决策树？ 目录前言：
1.决策树
Mogul的博客
12-25 1527
决策树分类的思想类似于找对象。想象一个女孩的母亲要给这个女孩介绍男朋友，于是有了下面的对话：女孩决定是否见男孩的一个过程，就像一个树形结构，只不过是反正的树， 数学上或者机器学习里的树，根在最上方最上方的为树的根节点下面的都是子节点像下图的橙色的部分，下面在没有往下的结点的叫叶子节点如果一颗树每个节点下面最多只有两个节点就属于二叉树下图的就是一个非二叉树( 到收入下面有三个节点)上图完整表达了这个女孩决定是否见一个约会对象的策略，其中绿色节点表示判断条件橙色节点表示决策结果。
决策树 4个信息计算公式 手动实现
10-31
首先，我们需要了解决策树中的关键信息计算公式： 1. **熵（Entropy）**：熵是衡量数据纯度或随机性的度量。在决策树中，熵用于评估一个节点的不确定性。计算公式为：\( H(X) = -\sum_{i=1}^{n} p_i \log_2{p_i} \)...
机器学习-决策树视频教学
06-09
熵是信息论中的一个重要概念，在决策树中用于衡量数据的纯度或不确定性。在分类问题中，熵越低表示数据集中同一类别的样本占比越大，决策树倾向于选择能最大化减少熵的特征进行划分。信息增益和信息增益比是常用的...
基于《统计学习方法》的决策树算法原理总结
09-22
内容概要：本文根据李航老师的著作《统计学习方法》，全面系统地阐述了决策树模型的核心知识点，包括不确定性衡量、特征筛选标准、损失函数以及决策树构造和优化的方法论，并剖析了决策树算法的实际应用效果。...
结合极限学习机和决策树进行基于HMM的语音合成时长预测
03-20
标题“结合极限学习机和决策树进行基于HMM的语音合成时长预测”指出了本文研究的核心议题，即如何利用极限学习机（Extreme Learning Machine，ELM）与决策树（Decision Tree，DT）的方法来改善基于隐马尔可夫模型...
决策树和集成学习的概念以及部分推导
egglikeFe的博客
10-13 534
决策树：ID3，C4.5，CART决策树和剪枝 集成学习：随机森林，adaboost，GBDT，XGBoost
西瓜书机器学习第四章——决策树
最新发布
OK
10-13 49
Classification and Regression Tree(CART）——一种著名的决策树学习算法，分类和回归任务都可以用。multivariate decision tree 多变量决策树。univariate decision tree 单变量决策树。oblique decision tree 斜决策树。divide-and-conquer 分而治之。information gain 信息增益。intrinsic value 固有值。decision tree 决策树。pruning 剪枝。
[笔记] 《线性代数的本质》3blue1brown
easycome easygoing、
10-13 403
一个很久之前截的B站评论:很多人学不懂线代(高代)的原因是，线性代数这门课本质上来说是 具体-抽象-再具体 的回旋过程首先从线性方程组开始讲起，讨论矩阵，方阵的性质然后再由矩阵上升到线性空间上的线性映射线性变换，在研究线性映射和线性变换时又会通过和数域K的联系再具体化到矩阵所以入门学习矩阵的时候，很容易迷失在处处严谨的证明细枝未节里，从而没法把握核心的思路与研究目的;而矩阵没学好，后面的线性空间更难理解，因为线性空间研究往往是再具体化到矩阵上来进行的。
【文档智能】文本文字识别、公式识别、表格文字识别核心算法及思路及实践-DBNet、CRNN、TrOCR
余俊晖，NLP炼丹师，目前专注自然语言处理领域研究。曾获得国内外自然语言处理算法竞赛TOP奖项近二十项。
10-13 855
OCR技术作为文档智能解析链路中的核心组件之一，贯穿整个技术链路，包括：文字识别、表格文字识别、公式识别，参看下面这张架构图：前期介绍了很多关于文档智能解析相关核心技术及思路，本着连载的目的，本次迎来介绍整个链路中的最后一块拼图-OCR。本文简要介绍OCR常见落地的算法模型-DBNet、CRNN，并基于这两个模型，简单介绍文字识别在表格识别中参与的角色；并且额外介绍TrOCR这个端到端的模型，基于这个模型引入公式识别解析的思路及微调方法。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值