《机器学习》21级期中解析——解答题二（分类问题——信息增益与Gini指数）

最新推荐文章于 2024-07-06 22:59:16 发布
最新推荐文章于 2024-07-06 22:59:16 发布
阅读量187 收藏 5
点赞数 1
分类专栏： 《机器学习》 文章标签： 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chengzhongchun/article/details/131142980
版权

 

 

 

 

（1）求信息增益 （信息增益越大越好！！！）

①总体的信息熵

 

②属性的信息熵

属性的信息熵 = “属性中各子集的信息熵 * 其比例，求和”

③属性的信息增益

属性的信息增益 = 整体信息熵 - 属性信息熵。

（2）求Gini指数 （Gini指数越小越好！！！）

①计算各子集的Gini指数

②依比例求和得到属性的Gini指数

 属性的Gini指数 = “属性中各子集的Gini指数 * 其比例，求和”；

 

 

 

 

chengzhongchun
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
根据信息增益率构造决策树_决策树--信息增益，信息增益比，Geni指数
weixin_42518981的博客
01-09 2160
决策树 是表示基于特征对实例进行分类的树形结构 从给定的训练数据集中，依据特征选择的准则，递归的选择最优划分特征，并根据此特征将训练数据进行分割，使得各子数据集有一个最好的分类的过程。决策树算法3要素：特征选择决策树生成决策树剪枝部分理解：关于决策树生成决策树的生成过程就是 使用满足划分准则的特征不断的将数据集划分为纯度更高，不确定性更小的子集的过程。对于当前数据集D的每一次的划分，都希...
信息熵(ID3)、信息增益（C4.5）、基尼值和基尼指数
lian740930980的博客
04-12 4380
1、信息熵 熵 Entropy是“混乱”程度的量度。系统越有序，熵值越低；系统越混乱或者分散，熵值越高。 信息理论： 1、从信息的完整性上进行的描述: 当系统的有序状态一致时，数据越集中的地方熵值越小，数据越分散的地方熵值越大。 2、从信息的有序性上进行的描述: 当数据量一致时，系统越有序，熵值越低；系统越混乱或者分散，熵值越高。 2、信息增益（决策树的划分依据1） 信息增益：以某特征划分数据集前后的熵的差值。熵可以表示样本集合的不确定性，熵越大，样本的不确定性就越大。因此可以使用划分前.
基尼系数和信息增益的关系
h2728677716的博客
03-11 575
说白了Gini系数就是x=1出对熵的一阶泰勒展开。 所以不管是信息熵还是Gini系数都可以作为分类的纯度。（本质上没什么区别）
决策树（信息熵—GINI）计算习题
热门推荐
红叶谷 wsp_1138886114的博客
07-08 5万+
1.2 有以下二分类问题数据集。 左侧为原数据，右侧上下两个表为统计数据 A B 类标签 统计A T F +   ~ A=T A=F T
EduCoder 机器学习 决策树
Alex
06-19 9090
决策树说通俗点就是一棵能够替我们做决策的树，或者说是我们人类在要做决策时脑回路的一种表现形式。 本实训项目的主要内容是基于 python 语言搭建出决策树模型对数据分类，并使用 sklearn 的决策时模型对鸢尾花数据进行分类。 第1关：什么是决策树 任务描述相关知识引例决策树的相关概念编程要求测试说明 任务描述本关任务：根据本节课所学知识完成本关所设置的选择题。 相关知识为了完成本关任务，你需要掌握决策树的相关基础知识。 引例在炎热的夏天，没有什么比冰镇后的西瓜更能令人感到心旷神怡的了。现在我要去水果
信息、信息熵、条件熵、信息增益、信息增益率、GINI指数、交叉熵、相对熵
江湖人称星爷
08-09 6306
在信息论与概率统计学中，熵（entropy）是一个很重要的概念。在机器学习与特征工程中，熵的概念也常常是随处可见。自己在学习的过程中也会常常搞混，于是决定将所有与熵有关的概念整理总结，方便查看和学习。 1. 信息 它是熵和信息增益的基础概念。引用香农的话，信息是用来消除随机不确定性的东西。如果一个带分类的事物集合可以划分为多个类别，则其中某个类（xi）的信息定义：              ...
决策树（信息熵、信息增溢、GINI）的计算
08-06 9618
如何构建决策树，我需要选择什么属性来度量，这里我们需要通过计算才能更好的构建一棵决策树。 【有以下二分类问题训练样本】 outlook temperat humidity windy play sunny hot high FALSE no sunny hot high TRUE no overcast hot high FALSE yes rainy mild high F
【ML笔记】信息增益、Gini、信息增益率
roguesir的博客
08-03 1万+
信息增益、Gini、信息增益率
决策树算法中基尼指数与信息增益的比较
qq_39408570的博客
05-02 5880
问题提出 在自己实现决策树算法的时候，发现生成的id3树和cart树一模一样。竟然每个决策节点都选择了同一属性的同一划分。这让我很意外，于是改变了随机种子值，改变训练集的大小，结果发现无一例外它们都是一样的。由此我提出了一个疑问：基尼指数和信息增益是等价的吗？ 如果等价，那干嘛还要两个算法？如果不等价，为什么生成的树总是一样的呢？ 二者比较 直接取iris数据集中的一部分作为训练集，并指定一个属性...
机器学习 - 模型性能评估
暴力扬
07-06 242
F1度量是用于评估分类模型性能的一个综合指标，它同时考虑了查准率（Precision, P）和查全率（Recall, R）。其中，TP（True Positive）是真正例，FP（False Positive）是假正例，FN（False Negative）是假负例。如果我们对查准率和查全率有不同的偏好，可以使用加权F度量（Fβ），其中β是一个权重参数。这个公式可以帮助我们理解在不同的β值下，查准率和查全率对Fβ的贡献。
机器学习原理之 -- XGboost原理详解
wodertianna的博客
07-06 820
XGBoost（eXtreme Gradient Boosting）是近年来在数据科学和机器学习领域中广受欢迎的集成学习算法。它在多个数据科学竞赛中表现出色，被广泛应用于各种机器学习任务。本文将详细介绍XGBoost的由来、基本原理、算法细节、优缺点及应用场景。
深度解析：机器学习与深度学习的关系与区别
weixin_42132035的博客
07-06 572
机器学习（Machine Learning, ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。深度学习（Deep Learning, DL）是机器学习的一个分支，它利用多层神经网络对数据进行特征提取和模式识别。
WGAN(Wassertein GAN)
暴力扬
07-02 769
WGAN前作分析了Ian Goodfellow提出的原始GAN两种形式各自的问题，第一种形式等价在最优判别器下等价于最小化生成分布与真实分布之间的JS散度，由于随机生成分布很难与真实分布有不可忽略的重叠以及JS散度的突变特性，使得生成器面临梯度消失的问题；第二种形式在最优判别器下等价于既要最小化生成分布与真实分布直接的KL散度，又要最大化其JS散度，相互矛盾，导致梯度不稳定，而且KL散度的不对称性使得生成器宁可丧失多样性也不愿丧失准确性，导致collapse mode现象。
基于机器学习（支持向量机，孤立森林，鲁棒协方差与层次聚类）的机械振动信号异常检测算法（MATLAB 2021B）
weixin_39402231的博客
07-06 137
基于机器学习（支持向量机，孤立森林，鲁棒协方差与层次聚类）的机械振动信号异常检测算法（MATLAB 2021B）
【机器学习】机器学习与电商推荐系统的融合应用与性能优化新探索
Easonmax的博客
07-03 1630
机器学习作为电商推荐系统的重要技术，已经在多个应用场景中取得了显著的成果。通过对数据的深入挖掘和模型的不断优化，机器学习技术将在推荐系统中发挥更大的作用，提升用户体验和平台效益。
sklearn中的Pipeline：构建无缝机器学习工作流
2401_85742452的博客
07-03 661
Pipeline是sklearn中用于封装一系列数据处理和模型训练步骤的类。它允许你将数据预处理、特征选择、降维和模型训练等步骤串联起来，形成一个有序的流水线。Pipeline中的每个步骤可以是任何可调用对象，包括sklearn的转换器和估计器，甚至是自定义函数。# 自定义转换逻辑])
Python数据分析案例49——基于机器学习的垃圾邮件分类系统构建(朴素贝叶斯，支持向量机)
weixin_46277779的博客
07-06 619
词频分析，词云图，垃圾邮件分类系统构建(朴素贝叶斯，支持向量机，K近邻模型)
Interpretability 与 Explainability 机器学习
茶桁专栏
07-06 486
这个灰色区域是我们发现这个定义的第一个问题。我们可能同意，一个有 2 棵树的随机森林是可解释的。然而，一个有 100 棵树的随机森林是不可解释的。在什么时候（即有多少棵树），模型从 interpretable 变为 explainable？即使是具有许多节点的决策树或具有许多参数的回归，如果没有额外的技术，也可能变得过于复杂，人类无法理解。问题是我们试图根据人类的理解能力对模型进行分类。没有正式的方法来衡量这一点。你理解模型的能力取决于你的技术技能和专业经验。即使在专业人士中，也会有分歧。
机器学习实现自然语言处理的背后技术详解
极客代码
07-03 901
自然语言处理是指通过计算机技术对自然语言文本进行处理和理解，从而实现机器翻译、情感分析、文本摘要等应用。它涉及到语言的理解、生成和评估等方面，是人工智能领域中一个重要的研究方向。为了更好地理解自然语言处理在实际应用中的工作原理，我们将使用一个流行的数据集——IMDb电影评论情感分析数据集。这个数据集包含了50,000条电影评论，其中25,000条被标记为正面，25,000条被标记为负面。# 加载IMDb数据集。
机器学习之保存与加载
最新发布
qq_33816117的博客
07-06 226
这篇介绍了，在MindSpore中保存和加载模型的方法,包括使用save_checkpoint保存模型参数,load_checkpoint和load_param_into_net加载参数,以及使用export导出MindIR格式模型并通过load接口加载进行推理。还介绍了这些保存和加载模型的核心API,为开发者提供了在MindSpore中管理和复用模型的实用技巧。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值