信息量，信息熵，信息增益概念的理解和计算

最新推荐文章于 2024-03-11 15:14:33 发布
最新推荐文章于 2024-03-11 15:14:33 发布
阅读量2.3k 收藏 8
点赞数 2
分类专栏： 机器学习 文章标签： 信息熵
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_47197801/article/details/116198033
版权

信息量，信息熵，信息增益概念的理解和计算

你好！让我们聊一聊 信息量，信息熵，信息增益的概念和公式，这对以后学习决策树会有很大的帮助。

信息量

某个具体事件发生的产生的信息量往往和他发生的概率成反比，即发生的概率越小，产生的信息量越大。

信息熵

信息熵是随机变量所有取值的均值之和，信息熵是正数，信息熵越小，表示事情的不确定性越小，熵的计算公式如下：
Alt

信息增益

信息增益=信息熵-条件熵
信息熵指在一个待分类集合熵值
条件熵指在一个按照某个特征分类后，分别计算每个类别的熵值，按照特征分类比例求出的均值
信息增益代表在某个特征的条件下，事件发生的不确定性减少的程度，那下面我们就介绍条件熵和他的计算公式。
信息增益计算公式：
Alt

条件熵

条件熵是在某个特征条件下按照概率某个条件分类之后的分别计算熵，在计算出的均值
Alt
`

m0_47197801
关注
  • 2
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
决策树系列3：信息增益、增益率、基尼系数 (史上最详尽)
浩宇天罡
03-09 2万+
引言 上回说道，决策树最核心的部分是如何选择最优划分属性，今天我们看看经典的三种最优划分算法。 本次内容是决策树的核心，《大数据茶馆》力求做到通俗的前提下推导细致、循序渐进、全程举例，希望可以帮助大家彻底理解这三种方法的来龙去脉。 决策树回顾 上一篇文章的例子中，小明和小亮根据各个属性判断是否适合打球列了表格，并给出了一棵决策树。 如上篇文章所说，第一个节点选择场地进行分支划分一下子决策了...
Entropy_InformationGain:这是一个Java中的示例项目，计算CSV表的熵和信息增益以进行决策树分类
04-02
决策树的熵和信息增益的计算熵是由随机数据源产生信息的平均速率，或者说，它是与随机变量相关的不确定性的度量。 信息增益是通过观察另一个随机变量获得的有关随机变量或信号的信息量。 该项目包括以下内容读取CSV...
信息熵、条件熵、信息增益
xtingjie的博客
05-07 6216
信息增益描述了一个特征带来的信息量的多少，往往用于特征选择信息增益 = 信息熵 - 条件熵一个特征往往会使一个随机变量Y的信息量减少，减少的部分就是信息增益一个例子如图所示，目标值是：playtennis，也就是是否打球 有四个特征：天气、温度、湿度、风信息熵信息熵的公式： H(X)=−∑i=1np(xi)logp(xi)H(X)=-\sum\limits_{i=1} ^{n} p(x_i)\l
数据分析 | 信息增益与基尼系数的通俗解释（含实例）
月婵婵的程序媛生涯
03-11 1348
信息增益是基于信息论的概念，用于度量在给定特征的情况下，数据集的不确定性减少程度。在决策树中，选择能够使得信息增益最大的特征作为划分节点。基尼系数是一种衡量数据集纯度（impurity）的指标，它表示从数据集中随机抽取两个样本，其类别标签不一致的概率。在决策树中，选择基尼系数最小的特征作为划分节点。
决策树（信息熵、信息增溢、GINI）的计算
08-06 9074
如何构建决策树，我需要选择什么属性来度量，这里我们需要通过计算才能更好的构建一棵决策树。 【有以下二分类问题训练样本】 outlook temperat humidity windy play sunny hot high FALSE no sunny hot high TRUE no overcast hot high FALSE yes rainy mild high F
大白话5分钟带你走进人工智能-第二十五节决策树系列之信息增益和信息增益率(4)
L先生AI课堂
05-14 1115
第二十五节决策树系列之信息增益和信息增益率(4) 上一节我们讲解了决策树的分裂条件以及评估纯度的其中一个方式，基尼系数。本节的话，我们再讲解一个评估纯度的方式，基于信息增益的方式，即ID3树使用的评估方式。它办的事跟Gini系数一样，也是评价纯度，但是它更客观一点，但它算起来比Gini系...
信息熵，信息增益
qq_55342245的博客
08-17 5147
信息熵，信息增益实例一 实例一 样本D如下（一共15条数据）： 样本信息熵：H(D)=−(915log⁡2915+615log⁡2615)=0.97095H(D)=-(\frac{9}{15}\log_{2}\frac{9}{15}+\frac{6}{15}\log_{2}\frac{6}{15})=0.97095H(D)=−(159​log2​159​+156​log2​156​)=0.97095 求样本信息熵时，只看类别这一列。因为其他的都是列都是特征列，是决定类别值的因素。 年龄的信息增益：G(
决策树中信息增益值的计算
weixin_43910988的博客
12-10 1万+
一、 确定数据 二、正例（好瓜）占8/17，反例（坏瓜）占9/17，则根结点的信息熵为： 三、计算当前属性集合{色泽，根蒂，敲声，纹理，脐带，触感}中每个属性的信息增益。 色泽有三个可能的取值：青绿、乌黑、浅白 D1{色泽=青绿}={1,4,6,10,13,17}，正例3/6，反例3/6 D2{色泽=乌黑}={2,3,7,8,9,15}，正例4/6，反例2/6 D3{色泽=浅白}=...
【深度学习-信息熵与信息增益】
zhangqw1013的博客
12-05 589
熵的应用主要是在决策树方面，信息熵主要用于计算信息增益，信息增益的大小决定了再进行决策树构建时，哪些特征先决策。一般情况，选择信息增益的大的特征先决策，信息增益小的特征后决策.
互信息（Mutual Information）的介绍
热门推荐
猪逻辑公园
06-18 6万+
互信息，Mutual Information，缩写为MI，表示两个变量X与Y是否有关系，以及关系的强弱。如果 (X, Y) ~ p(x, y), X, Y 之间的互信息 I(X; Y)定义为:Note: 互信息 I (X; Y)可为正、负或0。互信息实际上是更广泛的相对熵的特殊情形如果变量不是独立的,那么我们可以通过考察联合概率分布与边缘概率分布乘积之间的 Kullback-Leibler 散度来...
数据挖掘经典十大算法_条件熵、信息增益介绍
敷衍zgf的博客
08-07 4955
条件熵、信息增益介绍
决策树算法笔记2-信息增益与信息增益比
baidu_35753600的博客
03-23 2451
决策树算法笔记-信息增益与信息增益比条件熵信息增益信息增益比 条件熵 条件熵H ( Y ∣ X ) ，表示在已知随机变量X的条件下，随机变量Y的不确定性程度。 随机变量X给定的条件下，随机变量Y的条件熵H(Y|X)。 H(Y∣X)=∑x∈Xp(x)∗H(Y∣X=x) H(Y∣X) = ∑_{x∈X}p(x)*H(Y∣X=x) H(Y∣X)=x∈X∑​p(x)∗H(Y∣X=x) 举个例子，有下面这么一组数据。 #分类属性 labels=[‘年龄’,‘有工作’,‘有自己的房子’,‘信贷情况’] yearsOl
数学基础 | (6) 机器学习中的几个熵
01-20
1. 信息量 2. 信息熵 3. 相对熵(KL散度/KL divergence) 4. 交叉熵 5. 几个熵之间的关系 6. JS散度 7. Wasserstein距离 8. 总结 1. 信息量 事件发生的概率越小，信息量越大。 假设X是一个离散型随机变量，取值集合为...
论文研究-可信网络中基于动态信息增益的多维属性决策.pdf
07-22
采用信息熵描述交易样本及各决策属性对服务授权级别的不确定性程度，采用信息增益描述决策属性的信息量。基于信息增益设置各决策属性权值。使用滑动窗口机制对各属性信息增益和权值动态调节。算法分析表明，所提出的...
ID3 决策树、信息增益 C#源码
10-19
ID3 决策树、信息增益 C#源码 信息增益（information gain）是指期望信息或者信息熵的有效减少量（通常用“字节”衡量），根据它能够确定在什么样的层次上选择什么样的变量来分类。
论文研究-利用信息熵的高光谱遥感影像降维方法.pdf
09-12
利用信息熵理论，将高光谱遥感影像的各波段抽象为具有相关性的独立个体，设计了高光谱遥感影像的决策表矩阵，进而计算各波段的信息熵，量化各波段的信息量，从而将各波段根据信息增益进行排序。用户可根据高光谱遥感...
springboot(酒店管理系统)
04-25
开发语言：Java JDK版本：JDK1.8（或11） 服务器：tomcat 数据库：mysql 5.6/5.7（或8.0） 数据库工具：Navicat 开发软件：idea 依赖管理包：Maven 代码+数据库保证完整可用，可提供远程调试并指导运行服务（额外付费）～ 如果对系统的中的某些部分感到不合适可提供修改服务，比如题目、界面、功能等等... 声明： 1.项目已经调试过，完美运行 2.需要远程帮忙部署项目，需要额外付费 3.本项目有演示视频，如果需要观看，请联系我 4.调试过程中可帮忙安装IDEA，eclipse，MySQL，JDK，Tomcat等软件 重点： 需要其他Java源码联系我，更多源码任你选，你想要的源码我都有！ 需要加v19306446185
BP神经网络matlab实例.doc
最新发布
04-25
数学模型算法
设计.zip
04-25
设计.zip
信息增益、信息增益比和熵之间的比较
06-12
信息增益、信息增益比和熵都是决策树算法中常用的指标，用于选择最优的划分属性。 信息增益是在给定数据集D的条件下，从所有可能的划分属性中选择一个使得划分后的子集纯度最高的属性。纯度的计算是使用熵的概念，即信息熵。信息增益越高，表示使用该属性进行划分后，所得到的子集的纯度越高，对于决策树的构建来说，信息增益越高的属性越优先选择。 信息增益比是在信息增益的基础上，对属性的取值数目进行了惩罚。即信息增益比=信息增益/属性的固有值。固有值是一个属性所包含的信息量，与属性的取值数目有关。因此，信息增益比考虑了属性的取值数目对信息增益的影响，可以避免对取值数目较多的属性的过度偏好。 熵是用于衡量数据集的不确定性，熵越高表示数据集的不确定性越大。在决策树中，熵用于衡量划分子集的纯度，即使用该属性进行划分后，所得到的子集的不确定性。信息增益和信息增益比的计算都基于熵的概念，因此熵在决策树算法中具有重要作用。 综上所述，信息增益、信息增益比和熵都是决策树算法中常用的指标，用于选择最优的划分属性。信息增益和信息增益比都考虑了属性对子集纯度的影响，而信息增益比还考虑了属性取值数目的影响。熵用于衡量数据集的不确定性，是信息增益和信息增益比的计算基础。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值