信息熵和信息增益

最新推荐文章于 2023-12-03 11:53:32 发布
最新推荐文章于 2023-12-03 11:53:32 发布
阅读量839 收藏 2
点赞数
分类专栏： datawhale学习 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43544736/article/details/120719402
版权

通俗理解：

信息熵是描述事物的复杂程度，即一件事发生的不确定性。

信息增益是指一个节点分裂后对这个事件不确定性或者纯度带来的影响。

当一件事发生的可能性越低时，其不确定性越大，相应的纯度越低

信息增益在分类任务中的作用表现在，通过计算信息熵，看哪个属性对分类结果的影响最大。

基本表示

信息熵H(X)，表示X事件发生的不确定性。

条件熵H(X|Y)，表示，在X的情况下，Y带来的不确定性

信息增益G(Y,X)

 

 

 

菜菜沝
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python计算信息熵实例
09-16
首先将输入转换为 pandas Series，然后计算不同取值的出现次数，最后根据概率和信息熵公式得到结果。 2. `getCondEntropy`：条件熵是计算在已知某个特征条件下，另一个特征的不确定性。它需要两个序列作为输入，...
机器学习-第2关：信息熵与信息增益
qq_55882332的博客
05-18 3028
importnumpyasnp defcalcInfoGain(feature,label,index): ''' 计算信息增益 :paramfeature:测试用例中字典里的feature，类型为ndarray :paramlabel:测试用例中字典里的label，类型为ndarray :paramindex:测试用例中字典里的index，即feature部分特征列的索引。该索引指的是feature中第几个特征，如i...
信息熵与信息增益——python
Vicky
07-05 3802
根据本关所学知识，完成calcInfoEntropy函数，calcHDA函数以及calcInfoGain函数。为了完成本关任务，你需要掌握：信息熵 信息是个很抽象的概念。人们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。比如一本五十万字的中文书到底有多少信息量。直到1948年，香农提出了“信息熵”的概念，才解决了对信息的量化度量问题。信息熵这个词是香农从热力学中借用过来的。热力学中的热熵是表示分子状态混乱程度的物理量。香农用信息熵的概念来描述信源的不确定度。信源的不确定性越大，信息熵...
信息熵与信息增益
qq_30185271的博客
09-19 1120
信息熵与信息增益 信息熵 信息熵的出现解决了信息的量化度量问题，由克劳德香农提出，用来描述信息源的不确定程度。信息论之父克劳德香农第一次用数学语言阐明了概率与信息冗余度的关系。 我们可以根据一件事情出现的概率来衡量其确定性。假设： 1.设不确定性函数为f，则f是概率p的单调递减函数。 2.两个独立事件所产生的不确定性等于各自不确定性之和，称为可加性。 同时满足以上两个条件的函数
信息熵及信息增益
To the beyond and infinity!
02-13 1405
前言 最近看西瓜书，看到第四章决策树，在对样本的属性进行划分选择的时候用到了信息增益，其中包含了 信息熵（information entropy) 和 信息增益(information gain) 两个概念，由于没学过信息论这门课，然后在知乎上看到的DerisWeng博士的一个扫盲视频，讲的挺好，结合自己的理解阐述一下。 信息熵 当某种事情有多种微观态的条件下，这件事情（宏观态）对某人（观察者）而...
[头歌]-信息熵与信息增益
weixin_45794390的博客
06-01 1727
[头歌]-信息熵与信息增益
EduCoder 机器学习 决策树
Alex
06-19 9095
决策树说通俗点就是一棵能够替我们做决策的树，或者说是我们人类在要做决策时脑回路的一种表现形式。 本实训项目的主要内容是基于 python 语言搭建出决策树模型对数据分类，并使用 sklearn 的决策时模型对鸢尾花数据进行分类。 第1关：什么是决策树 任务描述相关知识引例决策树的相关概念编程要求测试说明 任务描述本关任务：根据本节课所学知识完成本关所设置的选择题。 相关知识为了完成本关任务，你需要掌握决策树的相关基础知识。 引例在炎热的夏天，没有什么比冰镇后的西瓜更能令人感到心旷神怡的了。现在我要去水果
信息熵的概念.pptx
05-18
在这个PPT中，作者通过一系列的例子和解释，深入浅出地介绍了信息熵的基本原理。 首先，信息熵可以理解为一个消息的平均信息量。在描述彩票中奖号码的例子中，神仙A、B、C和D给出了不同可能性的预测，这些预测代表...
信息熵.zip_信息 信息熵_信息增益_信息熵_信息熵计算_条件熵
07-15
可以计算信息熵、信息熵增益、以及选取较大增益属性作为分类条件
信息熵决策树.zip
12-04
信息熵在决策树中的应用是理解其工作原理的关键，而Python和相关库则为实现和优化提供了便利。进一步完善笔记，包括决策树的可视化和剪枝策略，将有助于深入理解决策树学习过程，并能更好地应用到实际项目中。
python实现求特征选择的信息增益
09-19
信息增益（Information Gain）是一种常见的特征选择方法，它基于熵（Entropy）和条件熵（Conditional Entropy）的概念。本文将深入探讨如何使用Python来计算特征选择的信息增益，同时考虑二值离散型和连续型属性。 ...
【头歌】期末复习机器学习（二）
最新发布
m0_64687072的博客
12-03 1949
关于头哥实践平台的机器学习实践答案汇总，可供学习参考
决策树——信息熵与信息增益
weixin_43826596的博客
04-14 2733
参考：[https://www.cnblogs.com/YouXiangLiThon/p/7214393.html] 信息熵(Entropy)：度量信息的不确定度，熵越大，不确定度越高，在分类中类别越多，也就说包含的信息越多。 计算方法：X表示某个分类，P（x）选择该分类的概率。H（X）所有类别之和 例如：天气预报的例子， 在14天中，play=no的事件为5，paly=Yes的事件为9.分类之...
对信息熵与信息增益的初步理解
热门推荐
CS笔记本
11-05 1万+
菜鸟级的博主，有错误请不吝赐教 ================= 一 信息熵 1948年香农提出了信息熵（Entropy）的概念。 假如事件A的分类划分是（A1,A2,...,An），每部分发生的概率是(p1,p2,...,pn)，那信息熵定义为公式如下： 吴军在《数学之美系列四--怎样度量信息？》中认为信息熵的大小指的的是了解一件事情所需要付出的信息量是多少，这件事的不确
信息量、信息熵、信息增益的理解
喜欢企鹅的博客
07-25 9315
1.信息量 公式由来 当我们知道一件必然会发生的事情发生了，因为反正这件事情会发生，因此可以认为我们没有接收到信息。但是要是–件平时觉得不可能发生的事情发生了，那么我们接收到的信息要大得多。我们对于信息内容的度量就将依赖于概率分布p(x)。因此，我们想要寻找一个函数h(x)，来表示信息的多少且是关于概率分布的单调函数。 而且，h(x)需要满足下面的性质： 1.h(x)>=0,因为h(x)表示的是得到的信息量的多少，应该是个非负数。 2.一个具体事件的信息量应该是随着其发生概率而递减的，事件越容易发生（
educoder 决策树
Manonll的博客
11-04 1719
7、决策树 第2关：信息熵与信息增益 import numpy as np# 计算信息熵 def calcInfoEntropy(feature, label): ''' 计算信息熵 :param feature:数据集中的特征，类型为ndarray :param label:数据集中的标签，类型为ndarray :return:信息熵，类型float ''' #*********** Begin ***********# label_set
机器学习——信息熵与信息增益
qq_53142796的博客
05-17 1249
信息熵越小，说明数据集的纯度越高。信息熵是衡量数据集纯度的指标之一，它是对数据集中所有类别出现概率进行加权平均所得到的一个值。代表的是在一个条件下，信息复杂度（不确定性）减少的程度，也即纯度提高的程度。信息增益越大，表示信息的不确定度降低的越多，即信息的纯度越高。信息熵越小越好，信息增益越大越好。问：信息熵越大说明其纯度越高。
[机器学习]信息&熵&信息增益
weixin_30578677的博客
06-16 925
关于对信息、熵、信息增益是信息论里的概念，是对数据处理的量化，这几个概念主要是在决策树里用到的概念，因为在利用特征来分类的时候会对特征选取顺序的选择，这几个概念比较抽象，我也花了好长时间去理解(自己认为的理解),废话不多说，接下来开始对这几个概念解释，防止自己忘记的同时，望对其他人有个借鉴的作用，如有错误还请指出。 1、信息 这个是熵和信息增益的基础概念，我觉得对于这个概念的理解更应该把他认为...
12.信息熵、信息增益
06-12
信息熵和信息增益是决策树算法中常用的概念。 信息熵是指在信息论中度量信息的不确定性的一种方法。在决策树算法中，信息熵可以用来度量数据集的不确定性，通过计算每个属性对数据集的信息熵贡献，找出最优的属性进行划分。 信息增益是指决策树算法中，某个属性对于分类结果的影响程度。信息增益越高，说明该属性越关键，对于分类结果的影响越大。计算信息增益需要先计算数据集的信息熵，然后计算每个属性对数据集的信息增益，最终选择信息增益最高的属性进行划分。 在决策树算法中，信息熵和信息增益是重要的指标，可以帮助我们选择最优的属性进行数据集的划分，从而构建出更加准确的决策树模型。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值