信息、熵、信息增益

最新推荐文章于 2023-05-07 16:13:00 发布
最新推荐文章于 2023-05-07 16:13:00 发布
阅读量384 收藏 1
点赞数 1
分类专栏： MachineLearning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_17249717/article/details/82925072
版权

信息、熵、信息增益是在决策树中用到的概念，在利用特征进行分类时，会考虑特征选取的顺序。

1. 信息

香农： 信息是用来消除随机不确定性的东西。

如果带分类的事物集合可以划分为多个类别中，则某个类 x i x_i xi​的信息定义如下：

I ( X = x i ) = − l o g 2 p ( x i )

最低0.47元/天 解锁文章
风度翩翩猪肉王子
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
信息增益——信息熵
Ali_start的博客
12-08 944
熵是一个热力学中表征物质状态的参量之一，物理意义为：体系混乱程度的度量。 信息熵是为了解决信息量化问题。香浓【】认为，一条信息的信息量和它的不确定性有直接关系。一个问题的不确定性越大，要搞清楚这个问题，需要了解的信息就越多，其信息熵就越大。                                                                       横坐标...
信息量、信息熵、信息增益的理解
喜欢企鹅的博客
07-25 9215
1.信息量 公式由来 当我们知道一件必然会发生的事情发生了，因为反正这件事情会发生，因此可以认为我们没有接收到信息。但是要是–件平时觉得不可能发生的事情发生了，那么我们接收到的信息要大得多。我们对于信息内容的度量就将依赖于概率分布p(x)。因此，我们想要寻找一个函数h(x)，来表示信息的多少且是关于概率分布的单调函数。 而且，h(x)需要满足下面的性质： 1.h(x)>=0,因为h(x)表示的是得到的信息量的多少，应该是个非负数。 2.一个具体事件的信息量应该是随着其发生概率而递减的，事件越容易发生（
【机器学习】信息量、香农熵、信息增益（增加例子，方便理解）
qq_25218219的博客
05-07 2496
这个公式的物理意义是，当事件 i 发生的概率越小时，其所包含的信息量就越大。例如，在一组有 8 个等概率的符号中选出一个符号，它所包含的信息量为。在信息论中，香农熵通常被定义为一个系统中所有可能事件的信息量的期望值。但是，突然某一天有人告诉你，今天太阳是从西边出来的，那么这条信息的信息量就。不完全正确，虽然在一些情况下，信息量可以通过一个事件发生的概率来表示，但是。是不是可以简单的将系统中的所有事件的信息量加和大小作为整个系统的香农熵值？事件i发生的概率）就可以量化的表示信息的信息量了。
信息熵的基本了解
Fo*(Bi)的博客
08-06 4849
熵 信息熵
什么是信息熵？
张可的博客
07-27 4974
1948 年，伟大的信息论之父**香农（Shannon）**将热力学中熵的概念引入到了信息论中，提出了“信息熵”这一概念。 信息熵用于解决信息的量化问题，将原本模糊的信息概念进行计算得出精确的信息熵值，信息熵是描述消息中，不确定性的值。 理解起来需要一点耐心，可以先这么说，信息熵就是用来描述信息中不确定性的值，熵越低，不确定性越低，我们也就更容易得到确定的信息。 举个栗子，张三的女朋友小红又要过生日了，他现在挑选礼物有三个选择：口红、包、机械键盘。张三并不知道小红到底喜欢那种礼物，因此对于张三来说，小红喜欢
Python计算信息熵实例
09-16
4. `getEntropyGainRadio`：信息增益比是信息增益与特征熵的比率，它是一个更优的特征选择标准，因为信息增益可能偏爱具有大量取值的特征。 5. `getDiscreteCorr`：这个函数用于计算两个离散特征之间的相关性，利用...
python实现求特征选择的信息增益
09-19
信息增益（Information Gain）是一种常见的特征选择方法，它基于熵（Entropy）和条件熵（Conditional Entropy）的概念。本文将深入探讨如何使用Python来计算特征选择的信息增益，同时考虑二值离散型和连续型属性。 ...
python实现基于信息增益的决策树归纳
09-19
其中，\( IG \) 表示信息增益，\( H(D|A) \) 是在考虑特征 \( A \) 的条件下数据集 \( D \) 的条件熵。选择信息增益最大的特征作为划分节点，可以最大化数据集的纯度。 在提供的代码中，首先读取三个文件：`...
信息熵.zip_信息 信息熵_信息增益_信息熵_信息熵计算_条件熵
07-15
可以计算信息熵、信息熵增益、以及选取较大增益属性作为分类条件
信息熵
zxyhhjs2017的博客
06-05 1217
一.为什么使用log函数表示不确定性： 1.不确定性函数f是概率P的减函数； 2.两个独立符号所产生的不确定性应等于各自不确定性之和，即f(P1,P2)=f(P1)+f(P2)，这称为可加性。同时满足这两个条件的函数f是对数函数，即 。 二.信息熵的公式： H(x) = E[I(xi)] = E[ log(2,1/P(xi)) ] = -∑P(xi)log(2,P(xi)) (i=1,2...
信息量与熵
mjiansun的专栏
07-23 4688
目录 熵和信息的定义 信息量获取的三种手段（本质都是正确的调整每个可能情况的概率） 相关例子 信息的性质 相关例子 概率和熵的不同 无效信息情况 易出现的概念偷换 熵的由来 举例 信息熵普遍形式 至此，我做一个简单的比较 例子，下面所举例子的总前提： 一个选择题，他有四个选项，正确答案是C，但小明在做这道选择题时，完全不知道这道题该怎么做，他选择ABCD选项的概...
熵与信息增益
时光杂货店
10-19 2万+
熵与信息增益在决策树算法中，决定特征优先级时，需要用到熵的概念，先挖个坑1 信息量信息量是用来衡量一个事件的不确定性的；一个事件发生的概率越大，不确定性越小，则它所携带的信息量就越小。假设X是一个离散型随机变量，其取值集合为XX，概率分布函数为p(x)=Pr(X=x),x∈Xp(x)=Pr(X=x),x∈X，我们定义事件X=x0X=x_0的信息量为： I(x0)=−log(p(x0))I(x_0)
信息熵 条件熵 信息增益 信息增益比 GINI系数
热门推荐
bitcarmanlee的博客
05-24 2万+
在信息论与概率统计学中，熵（entropy）是一个很重要的概念。在机器学习与特征工程中，熵的概念也用得灰常多。今天就把跟熵有关的东东稍微整理一下，权当笔记。1.信息熵熵是神马东东？信息论的开山祖师爷Shannon（中文翻译过来一般叫香农，总觉得很多文字经过翻译就不对劲，就跟人家老外翻译贱人就是矫情一样，感觉怪怪的。所以咱们还是用英文了，偷偷装个小逼）明确告诉我们，信息的不确定性可以用熵来表示： 对
熵，信息增益，信息增益率，Gini
冰枫的随笔
03-29 1万+
话说今天《机器学习》上课被很深地打击了，标名为“数据挖掘”专业的我居然连个信息增益的例子都没能算正确。唉，自看书以来，这个地方就一直没有去推算过，每每看到决策树时看完Entropy就直接跳过后面增益计算了。因而，总想找个时间再回过来好好看一下，这不，被逼上了呢。神奇的墨菲定律呢：你担心它发生的，它就一定会发生。 回正题了，这三个指标均是决策树用来划分属性的时候用到的，其中信息增益（Info
关于信息增益和熵
Bing Cao的博客专栏
12-14 3118
1、信息增益 在学习决策树时接触到到了信息增益（Information Gain），由此了解到熵。不解顺序查之。 在划分数据集之前之后信息发生的变化成为信息增益。因此，在决策树的根节点，选用的判定划分的属性，在划分数据前后信息的变化越大，那该属性对数据集的划分作用越大，分类的效果越好，也就是信息增益越大。所以获得信息增益最高的特征就是选择的最好特征。 举个例子： 我们要建立的决策树的形式类似
信息增益相关介绍（熵、信息增益、特征）
tansuo17的博客
12-22 3572
对于取值多的属性，尤其一些连续型数值，比如两条地理数据的距离属性，这个单独的属性就可以划分所有的样本，使得所有分支下的样本集合都是“纯的”（最极端的情况是每个叶子节点只有一个样本）。 一个属性的信息增益越大，表明属性对样本的熵减少的能力更强，这个属性使得数据由不确定性变成确定性的能力越强。 所以如果是取值更多的属性，更容易使得数据更“纯”（尤其是连续型数值），其信息增益更大，决策树会首先挑选这
信息熵和信息增益的简单理解与计算
学而不思则忘
10-20 3245
信息熵： 信息熵的概念很简单，熵在信息论中代表随机变量不确定的度量。 熵越大，数据的不确定性越高。 熵越小，数据的不确定性越低。 信息熵的公式： 下面的公式就是香农提出的信息熵的公式： H=−∑i=1kpilog(pi)H = - \sum_{i=1}^k p_i log(p_i)H=−i=1∑k​pi​log(pi​) 解释一下： 假如一组数据有k类信息，那么每一个信息所占的比例就是pip...
信息熵、信息增益、信息增益比
大屁孩的博客
04-02 5004
信息熵 “信息熵”是度量样本集合纯度最常用的一种指标。假定当前样本集合D中第k类样本所占的比例为pk（k=1,2,…,|y|），则D的信息熵定义为： Ent(D)的值越小，则D的纯度越高。 如果上面的解释不容易理解，那么下面再通俗地解释一下： 首先来看一下信息熵这个公式在数轴上的表示： 可以看到，在概率为0.5的时候，信息熵是最大的（为1）。 我们可以把信息熵理解为“不确定性”，当概率为0.5...
12.信息熵、信息增益
最新发布
06-12
信息熵和信息增益是决策树算法中常用的概念。 信息熵是指在信息论中度量信息的不确定性的一种方法。在决策树算法中，信息熵可以用来度量数据集的不确定性，通过计算每个属性对数据集的信息熵贡献，找出最优的属性...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值