8-1决策树

最新推荐文章于 2022-11-07 20:50:15 发布
最新推荐文章于 2022-11-07 20:50:15 发布
阅读量302 收藏
点赞数
分类专栏： 学习-机器学习 机器学习 数据挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/haozhepeng/article/details/94720128
版权
本文介绍了熵在衡量随机变量不确定性中的作用，包括联合熵、条件熵、对偶式和互信息。接着深入讨论了决策树的学习过程，如ID3、C4.5和CART算法，以及如何通过信息增益、信息增益率和基尼指数来选择最佳分叉依据。最后，文章提到了解决决策树过拟合问题的剪枝策略。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、熵 entropy

表示随机变量不确定性，熵越大，不确定性越大。

1.联合熵

两个随机变量X，Y的联合分布，可以形成
联合熵Joint Entropy，用H(X,Y)

2.条件熵：

H(Y|X) = H(X,Y) - H(X)

 根据互信息定义展开得到

H(Y|X) = H(Y) - I(X,Y)

3. 对偶式
 H(X|Y)= H(X,Y) - H(Y)
 H(X|Y)= H(X) - I(X,Y)

4.交叉熵

相对熵，又称互熵，交叉熵，鉴别信息，Kullback熵，Kullback-Leible散度等
设p(x)、q(x)是X中取值的两个概率分布，则p对q的
相对熵是

最低0.47元/天 解锁文章
数据挖掘实战-基于决策树算法构建北京市空气质量预测模型
m0_64336780的博客
02-05 2万+
通过分析这些数据，我们将利用决策树算法建立预测模型。决策树算法具有直观易懂、分类效果好等优点，适合用于此类预测问题。我们将采用适当的方法对模型进行训练和优化，以提高预测精度。最终，我们将评估模型的预测效果，并探讨其在实际应用中的可行性和潜在价值。希望通过本实验，能为北京市的空气质量改善工作提供一定的支持。通过基于决策树算法构建的北京市空气质量预测模型的实验研究，我们在多方面取得了显著的进展。首先，我们成功地整合了来自气象、环保、交通等多个领域的大量数据，形成了一个全面而综合的空气质量分析框架。
8-2 boosting &Adaboosting
haozhepeng的专栏
07-05 865
boosting 也是一种集成方式，目前比较火的有 GDBT，XGB，LGBM，Adaboosting等。它通过最小化误差的思路，来串行的集成多个弱分类器。即个体学习器间存在强依赖关系、必须串行生成的序列化方法。 下面内容参考引用https://blog.csdn.net/u012258999/article/details/42457577和https://blog.csdn.net/Lia...
决策树之分类树快速理解
Bowen Wang的博客
09-08 1572
先来看这样一个表格 这就是一个数据集，只是特征向量的数目只有8条，可以看到已经分好类了，就是是否放贷，每一条特征向量都包含三个特征：有房？有工作？年收入 我们的终极问题是：哪个特征对分类结果的影响最大？换句话说，按照哪一个特征分类最准确，最接近实际分类结果？ 所以我们想：要是准确性能够量化就好了，怎么量化？伟大的香农做到了 来，我们翻一翻信息论： 1：信息熵 我们在中学学过熵的概念...
信息熵基础（4）
tangxianyu的博客
09-04 1993
本文摘抄自《信息论基础-第二版》第二章：熵、相对熵与互信息 4. 熵与互信息的关系 可将互信息I(X;Y)重新写为： 由此，互信息I(X;Y)是在给定Y知识的条件下X的不确定度的缩减量。 对称的，亦可得到，因而，X含有Y的信息量等同于Y含有X的信息量。 由第二节知，H(X,Y)=H(X)+H(Y|X)，得到公式： 最后注意到I(X;X)=H(X)-H(X|X)=H(...
【信息论】互信息I(X;Y)中H(X)怎么推导出来——p(x)怎么变成p(x,y)
Vincent Lai的博客
06-16 1万+
在研究互信息I(X;Y)时，存在： I(X;Y)=H(X)−H(X∣Y)I(X;Y)=H(X)-H(X|Y)I(X;Y)=H(X)−H(X∣Y) 推导过程为： H(X)=−∑xp(x)log2p(x)H(X) = -\sum_{x}{p(x)log_2{p(x)}}H(X)=−x∑​p(x)log2​p(x) H(X∣Y)=−∑x∑yp(x,y)log2p(x∣y)H(X|Y) = -\sum_{...
【机器学习】【决策树】用样本集详解：条件熵H(Y|X)的计算过程
蔚蓝的天空Tom
04-02 4455
通过此文档如果还不清楚条件熵H(Y|X)的计算过程，请毫不留情地把搬砖扔过来，我愿意接招。此文章文档下载地址：https://download.csdn.net/download/u012421852/103221781. 样本数据集样本集简介：    样本集有8个example样本    每个样本有3个特征(身高，房子，性格)，1个分类结果refuse或者agree    身高取值范围={hig...
机器学习模型优化之模型融合
热门推荐
yeal
01-07 5万+
前言：在机器学习训练完模型之后我们要考虑模型的效率问题，常用的模型效率分析手段有： 研究模型学习曲线，判断模型是否过拟合或者欠拟合，并做出相应的调整； 对于模型权重参数进行分析，对于权重绝对值高/低的特征，可以对特征进行更细化的工作，也可以进行特征组合； 进行bad-case分析，对错误的例子分析是否还有什么可以修改挖掘 模型融合：模型融合就是训练多个模型，然后按照一定的方法集成过个模型，应为...
【scikit-learn】决策树
12-23 2579
目录决策树决策树的分类相关概念决策树的构造特征选择：决策树的生成：决策树的裁剪决策树的优缺点优点缺点决策树生成算法以ID3算法为例实战 决策树 决策树学习采用的是自顶向下的递归方法，其基本思想是以信息熵为度量构造一颗熵值下降最快的树，到叶子节点处，熵值为0。是一种有监督学习。决策树呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型；预测时，对新的数据，利用决策模型进行分类。 决策树的分类 决策树可以分为两类，主要取决于它目标变量的类型。
3.1 机器学习 --- 决策树
woaixuexi6666的博客
11-07 2008
无
机器学习--决策树(ID3)算法及案例.docx
06-14
8. **代码实现**：在提供的代码片段中，`create_data_set()`函数用于创建数据集，`calc_shannon_ent()`计算信息熵，`choose_best_feature_to_split()`选择最佳分割属性，`majority_vote_sort()`用于多数表决分类，`...
机器学习--决策树实现.zip
最新发布
04-25
8. **Python库实现**：在Python中，常用的决策树库有scikit-learn，它提供了实现各种决策树算法的接口，如`sklearn.tree.DecisionTreeClassifier`和`sklearn.ensemble.RandomForestClassifier`。 9. **评估指标**：...
数据仓库与数据挖掘--决策树实验.pdf
05-18
数据仓库与数据挖掘--决策树实验 本实验的主要目的是了解决策树的根本概念和掌握决策树挖掘分析的操作步骤。通过实验，我们可以学习如何使用 Visual Studio 2008 和 Analysis Services 来实现决策树分析。 实验...
Python数据分析（9）—-用决策树进行分类
01-07
在上一篇博文Python数据分析（8）—-用python实现数据分层抽样中，实现了实验数据的抽取，那么在本文中，将用上述抽取到的数据进行实验，也就是用决策树进行分类。 在讲解实际的决策树分类之前，需要介绍一下决策树...
集成学习（voting）
crown的博客
04-01 1988
voting 使用方式 voting = ‘hard’：根据少数服从多数来定最终结果 voting = ‘soft’：将所有模型预测样本为某一类别的概率的平均值作为标准，概率最高的对应的类型为最终的预测结果 代码实现 from sklearn import datasets from sklearn import model_selection from sklearn.linea...
java实现遍历树形菜单方法——实体类VoteTree
weixin_34376986的博客
05-23 240
package org.entity; import java.util.ArrayList; import java.util.List; /** * * * 项目名称：testTree * 类名称：VoteTree * 类描述： 树形菜单实体类 * 创建人：Mu Xiongxiong * 创建时间：2017-5-23 下午6:18:29 * 修改人...
8-4 XGB
haozhepeng的专栏
07-09 589
参考&引用：陈天奇论文，ppt等(已上传https://download.csdn.net/download/haozhepeng/11287103) & https://blog.csdn.net/qq_22238533/article/details/79477547 目录 一、原理 1.Bias-Variance(偏差方差思想) 2.XGB过程推导 XGB过程简述...
8-5 lightGBM
haozhepeng的专栏
07-09 355
参考&引用：https://blog.csdn.net/huacha__/article/details/81057150&https://blog.csdn.net/qq_24519677/article/details/82811215&https://blog.csdn.net/u010242233/article/details/79769950&原始论文...
8-3 GBDT
haozhepeng的专栏
07-06 336
引用&参考文章 GDBT原始文章 （已上传https://download.csdn.net/download/haozhepeng/11287103)） https://blog.csdn.net/qq_22238533/article/details/79185969&https://www.cnblogs.com/massquantity/p/9174746.html...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值