信息熵--信息的度量和作用

最新推荐文章于 2019-06-22 11:24:35 发布
最新推荐文章于 2019-06-22 11:24:35 发布
阅读量2.7k 收藏 1
点赞数 1
分类专栏： 机器学习 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sjkldjflakj/article/details/51865795
版权
信息熵作为信息不确定性的度量，描述了信息中所包含的信息量。高不确定性意味着需要更多信息以确定事实。例如，32支球队夺冠，等概率情况下需问5次；而互信息则衡量信息间的相关程度，帮助我们理解信息如何减少不确定性。在搜索和自然语言处理中，相关信息的获取和利用至关重要。
摘要由CSDN通过智能技术生成

一直对信息的作用感到不慎了解，看了数学之美中对信息的解释有种豁然开朗的感觉，虽然只是短短的篇幅却对信息的作用有个总体的把握。
信息熵
信息熵描述了信息的不确定性。信息的不确定性程度越高，那么我们就需要越多的信息来弄清楚事实。所以信息熵的大小描述了信息的不确定性也就描述了信息中所包含的信息量。不确定性程度越高，信息量就越少

比如有32支球队，由于没有看比赛我们需要去问别人才会知道结果，在所有球队夺冠的概率相等的前提下，我们需要问 log232=5

最低0.47元/天 解锁文章
独步计院
关注
专栏目录
谈谈信息熵--信息的度量
freeliao的专栏 在路上奔跑。。。
01-07 6062
信息是一个抽象的概念，表示某个事件、情况或者概率，很难给信息下一个定义。我们常常说信息的多少，这个多少却很难度量。比如我们说一部中文字典到底有多少信息量，一本50多万字的《史记》又有多少信息量。究竟信息背后有没有理论基础呢？在香农信息论诞生以前，我们没有准确的数学方法来描述信息。直到1948年，香农在他著名的论文“通信的数学原理”中提出了“信息熵”的概念，信息的度量问题才得以解决。香农的信息论如今
信息熵可以用来做什么呢？
最新发布
weixin_42600128的博客
12-17 456
信息熵可以用来衡量一个随机变量的不确定性。它是由信息论学家克劳德·香农在1948年提出的一种概念。在数学上，信息熵是指一个随机变量的所有可能取值的熵的期望值。 在计算机科学和信息学中，信息熵常用于衡量一个字符串或文本的不确定性。在机器学习和数据挖掘中，信息熵也可以用来衡量一个数据集的不确定性。例如，在决策树学习中，信息熵可以用来衡量节点的纯度，决定将数据分配到哪一个节点。 总的来说，信息熵是一种重...
信息熵的概念
lxmky的专栏
05-03 1724
<br />　　信息熵：信息的基本作用就是消除人们对事物的不确定性。多数粒子组合之后，在它似像非像的形态上押上有价值的数码，具体地说，这就是一个在博弈对局中现象信息的混乱。<br />　　香农指出，它的准确信息量应该是<br />　　= -(p1*log p1 + p2 * log p2 +　．．．　＋p32 *log p32)，<br />　　其中，p1，p2 ，　．．．，p32 分别是这 32 个球队夺冠的概率。香农把它称为“信息熵” (Entropy)，一般用符号 H 表示，单位是比特。有兴趣的读者可
信息熵的意义
weixin_43779531的博客
06-22 1895
信息熵的真正意义,信息能够量化的过程,能够展示出来的数据,一组数据,在python中的量化过程, 只要能通过计算,将结果运算出来就是将问题转化为一个可以解决的问题 from collections import Counter def entropy(y): counter = Counter(y) res = 0.0 for num in counter.values(): p = num / ...
信息熵是什么
a8131357leo的博客
03-26 1813
文章转自转载： https://blog.csdn.net/saltriver/article/details/53056816，只是画了一些重点自己学的重要的东西 信息是我们一直在谈论的东西，但信息这个概念本身依然比较抽象。在百度百科中的定义：信息，泛指人类社会传播的一切内容，指音讯、消息、通信系统传输和处理的对象。但信息可不可以被量化，怎样量化？答案当然是有的，那就是“信息熵”。早在1948年...
基于最小信息熵-最大增值熵的投资组合优化模型 (2011年)
05-13
针对Markowitz的均值-方差模型的缺陷，用信息熵代替方差度量风险，用反映资金的增值速度的增值熵代替均值，提出了一种新型投资组合模型――最小信息熵-最大增值熵模型，并通过多目标决策方法中的模糊集理论对模型...
基于信息熵-模糊数学的岩巷掘进机械化作业线选择方法研究
07-15
为缓解日益紧张的采掘矛盾,...构建了基于"信息熵-模糊数学"的岩巷掘进"机械化作业线选择方法数学模型",用于指导煤矿岩巷掘进机械化作业线的选择。在霍州煤电甘河矿二采区运输巷成功应用,取得了良好的经济和社会效益。
搜索和信息的作用——条件熵
Lenskit
05-14 1009
网页搜索本质上就是从几十亿个网页中，找到和用户输入的搜索词最相关的几个网页。几十亿种可能性，当然是很大的不确定性U。因此网页搜索本质也是利用信息消除不确定性的过程。如果提供的信息不够多，比如搜索词是常用的关键词，诸如“中国”、“经济”之类的，那么会有好多相关的结果，用户可能还是无从选择。     这时正确的做法是挖掘新的隐含信息，比如网页本身的质量信息。如果这些信息还是不够消除不确定性，不妨再问
信息的度量（信息熵）
weixin_39454351的博客
01-13 927
信息熵：一条信息的信息量和其不确定性有着直接的关系，比如我们想弄清楚一个非常不确定的事需要大量的信息，可以认为信息量就是不确定性的多少。 比如错过了世界杯，想要猜32个球队哪只是冠军，可以先问是1-16吗，假如猜对了，可以继续问1-8吗，这样就需要五次就可以知道哪个球队是冠军，所以谁是冠军这个信息就是5. 有些人发现可能不需要五次就能猜出来谁是冠军，因为有些球队夺冠的可能性更大一些，因此猜的时...
数学之美--信息的度量和作用--信息熵，条件熵和交叉熵
加勒比海鲜王
08-26 2828
保留初心，砥砺前行 这一章节讲解的是关于信息的某些度量。 我们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。……直到1948年，Shannon在他著名的论文“通信的数学原理”中提出了“信息熵”的概念，才解决了信息的度量问题，并且量化出信息的作用。信息熵首先，我们可以记住的是，信息熵一般使用符号H来表示，单位是比特。接下来，看一个书中给出的例子： 当我错过了上一届世界杯的比赛，而想
用最通俗易懂的语言告诉你什么是信息熵
热门推荐
Machine Learning with Tutors
01-16 2万+
直接传递ABCD的ascii码的话，每个答案需要8个bit的二进制编码，从传输的角度，这显然有些浪费。信息论最初要解决的，就是数据压缩和传输的问题，所以这个作弊团伙希望能用更少bit的编码来传输答案。实际上，熵的概念首先在热力学中引入，用于表述热力学第二定律。信息熵的定义与上述这个热力学的熵，虽然不是一个东西，但是有一定的联系。直觉上，信息量等于传输该信息所用的代价，这个也是通信中考虑最多的问题。，那么同样需要问3次（问题1，问题2，问题3），概率为。，那么需要问3次（问题1，问题2，问题3），概率为。
《数学之美》—信息的度量和作用
08-03 146
1、信息熵？H(X) = -（p1*logp1 + p2*logp2 + ... + Pn*logpn） 2、一条信息的信息量与其不确定性有着直接的关系 摘要与理解： 几乎所有的自然语言处理、信息与信号处理的应用都是一个消除不确定的过程。 如果没有信息的引入，任何公式或者数字...
信息熵(Information Entropy)及其在电商搜索领域中的应用
laolu1573的专栏
03-21 1208
信息熵是衡量分布的混乱程度或分散程度的一种度量。分布越分散(或者说分布越平均)，信息熵就越大。分布越有序（或者说分布越集中），信息熵就越小。 计算公式 给定的样本集X的信息熵的公式： entropy=−∑i=1Cpilog2(pi)entropy = -\sum_{i=1}^{C} p_{i} log_{2} (p_{i})entropy=−i=1∑C​pi​log2​(pi​) 参数的含义： ...
多分类器-----Multiclass classification
大爱算法的博客
07-18 7200
之前讲过线性分类器可以解决二分类的问题。 那么对于多分类问题该如何解决呢？ 一种思想是我们可以把多分类问题转化成多个二分类问题。也就是拿出一个类别与其他所有类别进行比较。比如上图我们可以把方块作为正类其他的作为父类进行判别。 通过多个分类器我们就可以划分出多个类了。那么这种思想还不完善，存在什么问题呢？ 对于某一些区域的点来说多个分类器都抢着说这是我的类，对于有的区域大家又都说不是我
Adaboost ，gbdt 原理详解
大爱算法的博客
07-21 4869
1、Adaboost 我们先不谈数学模型，先说一下adaboost的原理，这样更方便理解举个例子，我们说在一个班级上，我们给了十幅图片希望小朋友们可以学习出那些是苹果。 那第一个小朋友可能说苹果是圆的，按照这个规则我们分了一下发现确实可以把一部分苹果分出来，但是又有一些分错了，这时候老师把这些分错的图片放大，那下一个小朋友可能就会更加关注分错的那一部分图片，然后提出一个新的规则可能说苹果是红的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值