信息增益率

于 2022-03-11 13:34:57 发布
阅读量510 收藏
点赞数
分类专栏： 机器学习 决策树
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/h2728677716/article/details/123420726
版权

机器学习 人工智能

1.问题 ：

对于多叉树，如果我们对分支不做限制，那么一次分裂就可以将信息熵降为0。

比如下图我们按照uid分类，如果不限制分支，那么每一个uid都可以分成一类，那么信息熵就一次分裂变成0.最终一共15个uid，不限制分支，就分成了15类，信息熵为0。

信息增益这个指标，更倾向于分成多个分支的情况

2.为了解决信息增益着一种情况，有了信息增益率。

信息增益率：信息增益除以类别本身的熵。（用的比较少，代码中封装的一般是Gini，信息增益，因为一般我们会限制树只能是二叉树）

海滩上的那乌克丽丽
关注
专栏目录
决策树的划分依据之：信息增益率
CZ-001的博客
08-01 1994
在上面的介绍中，我们有意忽略了"编号"这一列.若把"编号"也作为一个候选划分属性，则根据信息增益公式可计算出它的信息增益为 0.9182，远大于其他候选划分属性。计算每个属性的信息熵过程中,我们发现,该属性的值为0, 也就是其信息增益为0.9182. 但是很明显这么分类,最后出现的结果不具有泛化效果.无法对新样本进行有效预测.
信息增益，信息增益率，Gini
Athenaer的专栏
12-24 2万+
1、熵（Entropy） 理论上来说用于决策树的属性选择函数，为方便计算，往往是定义为其属性的不纯性度量，那么必须满足如下三个条件： 当结点很纯时，其度量值应为0 当不纯性最大时（比如所有类都有同样的可能），其度量值应最大 度量应该服从多级特性，这样决策树才能分阶段建立起来 measure([2,3,4])=measure([2,7])+79×measure([3,4])
电信设备-一种基于信息增益率的属性选择方法.zip
09-19
本资料“电信设备-一种基于信息增益率的属性选择方法”着重探讨了一种利用信息增益率来进行特征选择的技术，尤其适用于电信设备数据分析。 首先，我们需要理解什么是信息增益率（Information Gain Ratio）。信息...
决策树模型结构 信息增益与信息增益率
weixin_43258017的博客
06-07 1819
1.决策树模型结构 决策树算法是一种监督学习算法； 决策树是一个类似流程图的树结构：每个内部节点(分支节点/树枝节点)表示一个特征或属性，每个树叶节点代表一个分类； 构造决策树的基本算法： (1) ID3算法：使用信息增益进行特征选择。 (2)C4.5算法：使用信息增益率进行特征选择，克服了信息增益选择特征的时候偏向于特征个数较多的不足。 (3)CART算法：分类回归树，既可以用于分类，也可以用于...
信息增益，信息增益率，信息熵，互信息，交叉熵，条件熵，gini系数
AmorFati的博客
08-21 2251
信息熵 信息增益 Gain（A）=I(A) -H(A) 信息增益的理解： 对于待划分的数据集D，其 entroy(前)是一定的，但是划分之后的熵 entroy(后)是不定的，entroy(后)越小说明使用此特征划分得到的子集的不确定性越小（也就是纯度越高），因此 entroy(前) - entroy(后)差异越大，说明使用当前特征划分数据集D的话，其纯度上升的更快。而我们在构建最优的决策树的...
决策树 信息熵 条件熵 基尼系数 信息增益 信息增益率 CART 随机森林
无境
12-07 2271
决策树：
电信设备-一种基于信息增益率的属性加权方法及文本分类方法.zip
09-19
本主题“电信设备-一种基于信息增益率的属性加权方法及文本分类方法”探讨的就是如何利用信息增益率来优化特征选择，并以此提升文本分类的准确性。 首先，我们需要理解什么是信息增益率。信息增益是决策树算法中...
熵、信息增益、信息增益率
qq_39197555的博客
03-29 1万+
一、熵 （1）原理 初中物理我们对“熵”这个东西懵懵懂懂，印象中仿佛对物体内部的热效应有关，时隔这么多年在机器学习、深度学习领域的学习中又看见了它的踪影，不免有点让人有点熟悉又陌生的感觉。“熵”这个东西看不见又摸不着，到底什么是“熵”？ “熵”是用来干什么的？“熵”是一个系统里面的混乱程度的度量、标尺。系统混乱程度越低，系统的熵值越小，反之越大。 我们先从物理学的角度出发，假设相同条件下有一桶冰水和一桶热水，哪一个的熵值会大呢？ 冰水中的分子热运动速度较慢，内部的分子排布比较有规律。热水内部温
信息增益比
zrh_CSDN的博客
06-03 3433
特征A对训练数据集D的信息增益比定义为其信息增益与训练数据集D关于特征A的值的熵 之比，即：，n为特征A取值的个数。信息增益g(D,A)求法如下：
算法仓库（二） 什么是信息增益率
Tomoyolq的专栏
12-18 1266
为什么要提出信息增益率这种评判划分属性的方法？信息增益不是就很好吗？其实不然，用信息增益作为评判划分属性的方法其实是有一定的缺陷的，书上说，信息增益准则对那些属性的取值比较多的属性有所偏好，也就是说，采用信息增益作为判定方法，会倾向于去选择属性取值比较多的属性。那么，选择取值多的属性为什么就不好了呢？举个比较极端的例子，如果将身份证号作为一个属性，那么，其实每个人的身份证号都是不相同的，也就是说，
C4.5算法
godenlove007的专栏
08-31 3202
转载自：http://blog.sina.com.cn/s/blog_73621a3201017g7k.html 1.3、C4.5算法 1.3.1、ID3算法的改进：C4.5算法 GOOGLE 学术主页： http://scholar.google.com.hk/citations?user=FjqRZCEAAAAJ     C4.5，是机器学习算法中的另一个分类决策树算法
互信息（Mutual Information）的介绍
热门推荐
猪逻辑公园
06-18 7万+
互信息，Mutual Information，缩写为MI，表示两个变量X与Y是否有关系，以及关系的强弱。如果 (X, Y) ~ p(x, y), X, Y 之间的互信息 I(X; Y)定义为:Note: 互信息 I (X; Y)可为正、负或0。互信息实际上是更广泛的相对熵的特殊情形如果变量不是独立的,那么我们可以通过考察联合概率分布与边缘概率分布乘积之间的 Kullback-Leibler 散度来...
机器学习---熵，信息增益，信息增益率
weixin_43854256的博客
12-13 2574
熵 熵在信息论中被用来度量信息量，熵越大，所含的有用信息越多，其不确定性也就越大；熵越小，有用信息越少，确定性也就越大。 决策树中，用熵来表示样本集的不纯度，样本集中样本种类越小，确定性越高，熵值越小；样本种类越多，越不确定，熵值越大。 熵例子 设S是数量为n的样本集，其分类属性有n个不同的取值，用来定义m个不同的分类Ci(i=1,2,⋯,m)，则其熵的公式是： 如果有一个大小为10的布尔值样本集Sb，其中有6个真值，4个假值，那么该布尔型样本分类的熵是： 信息增益 计算得到熵作为衡量样本集合不纯度的指
大白话5分钟带你走进人工智能-第二十五节决策树系列之信息增益和信息增益率(4)
L先生AI课堂
05-14 1303
第二十五节决策树系列之信息增益和信息增益率(4) 上一节我们讲解了决策树的分裂条件以及评估纯度的其中一个方式，基尼系数。本节的话，我们再讲解一个评估纯度的方式，基于信息增益的方式，即ID3树使用的评估方式。它办的事跟Gini系数一样，也是评价纯度，但是它更客观一点，但它算起来比Gini系...
[决策树]一步步详解信息增益、增益率、基尼指数
weixin_39564592的博客
07-29 1801
结合B站UP主:致敬大神的讲解和自己的理解作此文章以便自己日后的复习 熵：对一种事物的不确定性 信息：消除不确定性的事物 比如：以买榴莲举例，没任何信息的情况下买榴莲，50%挑到好的，50%挑到坏的，但是如果我们闻了一下后发现味道很香，那么这时，这个被我们闻过的榴莲是好榴莲的几率就上升了 噪音：不能消除对某件事情的不确定性 熵如何度量？ ...
信息增益率matlab实现
最新发布
07-13
信息增益率（IGR, Information Gain Ratio）是一种用于特征选择的度量方法，它考虑了特征对分类任务的纯化能力以及该特征的熵贡献。在MATLAB中实现信息增益率，通常需要计算熵、条件熵和信息增益，然后取其比值作为特征的重要性评分。 以下是简单的步骤： 1. 导入所需的数据集并处理数据。 ```matlab data = readtable('your_dataset.csv'); X = data(:, 1:end-1); % 特征 Y = data(:, end); % 目标变量 ``` 2. 计算未分类数据的总熵（Entropy of the complete set）。 ```matlab num_classes = unique(Y); total_entropy = -sum([freq(Y) .* log2(freq(Y))], 2); ``` 3. 对于每个特征，计算去除该特征后的各类别数据的熵，求出条件熵（Entropy given feature）。 ```matlab entropy_given_feature = zeros(size(X, 2), length(num_classes)); for i = 1:size(X, 2) for j = 1:length(num_classes) class_data = X(find(Y == num_classes(j)), i); if ~isempty(class_data) class_freq = freq(class_data); entropy_given_feature(i, j) = -sum(class_freq .* log2(class_freq)); end end end ``` 4. 计算信息增益（Gain），即总熵减去条件熵。 ```matlab information_gain = total_entropy - sum(entropy_given_feature, 2); ``` 5. 最后，计算信息增益率（IGR），即信息增益除以特征的熵。 ```matlab information_gain_ratio = information_gain ./ entropy_given_feature; ``` 6. 可以根据`information_gain_ratio`排序特征，选择IGR较高的特征作为重要特征。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值