信息的度量（信息熵）

最新推荐文章于 2023-06-22 21:30:51 发布
最新推荐文章于 2023-06-22 21:30:51 发布
阅读量904 收藏
点赞数
分类专栏： 定义理解 文章标签： 信息熵 理解
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39454351/article/details/86436825
版权

信息熵：一条信息的信息量和其不确定性有着直接的关系，比如我们想弄清楚一个非常不确定的事需要大量的信息，可以认为信息量就是不确定性的多少。

比如错过了世界杯，想要猜32个球队哪只是冠军，可以先问是1-16吗，假如猜对了，可以继续问1-8吗，这样就需要五次就可以知道哪个球队是冠军，所以谁是冠军这个信息就是5.

有些人发现可能不需要五次就能猜出来谁是冠军，因为有些球队夺冠的可能性更大一些，因此猜的时候可以把大概率赢的球队分在一边，这样猜测也许三到四次就可以猜出来。当每支球队夺冠的可能性不等时，谁是冠军的信息量比5少，香农指出，它的准确信息量应该是H=-(p_{1}*logp_{1}+p_{2}*logp_{2}+...+p_{32}*logp_{32}),其中p1,p2...p32是这些球队夺冠的概率，香农把它称为信息熵。

来自《数学之美》

 

good good study
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
信息的度量
Eleanor_12的博客
09-14 3758
现代通信技术中定义了信息的度量方法，即信息量和信息熵 一、信息量 信息量分为自信息量和互信息量 自信息量的定义： 互信息量的定义： 互信息是一个变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性。 发生概率越小的事件，其自身包含的信息量越多； 发生概率越大的事件，其自身包含的信息量越少； 二、信息熵 信息熵即平均自信
信息的度量和作用
DMU_lzq1996的博客
12-10 1321
1948年，香农的著名论文《通信的数学原理》提出了信息熵的概念，才解决了信息的度量问题，并量化出信息的作用。 1.信息熵 2.信息的作用 信息的作用就是消除不确定性。 几乎所有的自然语言处理、信息与信号处理的应用都是一个消除不确定性的过程。 实际中，相关性的信息也能消除不确定性，为此理论上引入条件熵概念： 3.互信息 香农在信息论中提出了一个互信息的概念作为两个随机事件”相关性“的量化度量： ...
NLP（三）：信息的度量
hzk1562110692的专栏
03-30 1055
这是一系列自然语言处理的介绍，本文不会涉及公式推导，主要是一些算法思想的随笔记录。 适用人群：自然语言处理初学者，转AI的开发人员。 编程语言：Python 参考书籍：《数学之美》 信息熵 ##信息的作用 ##互信息 ##相对熵 ##小结 ...
信息论复习—信息的度量
vizio.blog.csdn.net
01-18 1772
离散无记忆信源信息量及熵
MATLAB实现信息熵
06-29
在信息技术和数据处理领域，信息熵是一个至关重要的概念，它度量了信息的不确定性或信息的平均信息量。MATLAB作为一个强大的数值计算环境，提供了丰富的工具和函数来实现各种数学和统计计算，包括信息熵的计算。下面...
信息熵的C语言实现
04-14
在信息论中，熵是一个衡量信息不确定性的度量，它由克劳德·香农在1948年首次提出。熵越高，表示一个信息源的不确定性越大。相对熵（也称为Kullback-Leibler散度）是衡量两个概率分布之间差异的一种方式，而互信息则...
Python计算信息熵实例
09-16
在信息论中，信息熵是一种衡量数据不确定性的度量，它是数据分布均匀性的一个量化表示。在Python中，我们可以编写函数来计算一个数据集的信息熵。这个实例中，我们主要关注如何使用Python来实现这一计算。 信息熵的...
图像信息熵计算
04-20
信息熵表示了该随机变量平均携带的信息量，通常用于度量系统的不确定性或信息含量。 #### 三、图像信息熵的计算步骤 1. **读取图像：** 首先需要读取图像数据，这一步骤可以通过MATLAB内置函数 `imread` 实现。 2....
信息熵_C++_图像信息熵C++_
09-28
在计算机科学领域，尤其是图像处理和数据分析中，信息熵是一个重要的概念。它是衡量信息不确定性的度量，由信息论的创始人克劳德·香农在1948年提出。本篇文章将深入探讨信息熵的基本原理，以及如何使用C++语言来...
图像信息熵和互信息的计算
11-11
介绍了信息熵的概念，计算方法和互信息的概念计算，用matlab实现。
信息论——信息的度量
ChenYuhan1987的专栏
12-06 1332
信息的度量 　　　　信息具可度量性，其大小取决于信息所消除的不确定性 　　　　举例如下： 　　　　　　消息A：中国女子乒乓球队夺取亚运会冠军。 　　　　　　消息B：中国男子足球队夺取世界杯赛冠军。 　　　　　　从事件的描述上来看，其主题内容大致相同，那么我们是否可以认为事件A和事件B具有相同的信息量呢？显然是不行的。根据以往经验，我们可以认为事件A是一个大概率事件，所以事件A的...
信息时代的必修课：信息度量
iOS逆向与安全
03-16 437
横轴是发生的概率，它从0到1分布，纵轴是熵(确定事件发生，需要的信息量）。当发生的概率正好是1/2时需要的信息熵达到顶峰，是一比特。航空公司或者运输公司因为害怕油价浮动太高会购买这样的投资产品，金融公司把完全相反的投资产品，卖给了希望油价波动的人。“信息”是用来消除不确定性的（信息熵），搞清楚黑盒子是怎么一回事需要的“信息量”就等于黑盒子里的“信息熵”。设定赌局的人将收费标准略高于信息熵，只要收费比信息实际的价值高，都是稳赚不赔的。信息是用于消除不确定性的，把过去不知道的事情讲清楚，信息量就很大。
评论《怎样度量信息》
percylee的专栏
04-29 4901
 Google黑板报上有一个系列《数学之美》非常的不错，到目前为止共有四期，链接分别如下：http://googlechinablog.com/2006/04/blog-post.htmlhttp://googlechinablog.com/2006/04/blog-post_10.htmlhttp://googlechinablog.com/2006/04/4.htmlhtt
【机器学习】信息熵和信息度量
gongdiwudu的专栏
06-22 6164
信息熵是概率论在信息论的应用，它简洁完整，比统计方法更具有计算优势。在机器学习中经常用到信息熵概念，比如决策树、逻辑回归、EM算法等。本文初略介绍一个皮毛，更多细节等展开继续讨论。
关于信息熵的指标
数据喵的博客
07-31 5710
信息熵 信息论中的熵，又叫信息熵，用来衡量一个随机变量的不确定程度。熵越大，不确定性越大。 H(X)=E[I(xi)]=−∑n−1NP(xi)log(P(xi))H(X)=E[I(xi)]=−∑n−1NP(xi)log(P(xi))H(X)=E[I(x_i)]=-\sum_{n-1}^NP(x_i)log(P(x_i)) 交叉熵 如果一个随机变量X服从p(x)分布，q(x)用于近似p(x)...
信息的度量-熵（entropy）
火鸡哥
06-24 1261
信息是个抽象的概念，我们知道一个句子里的信息多或者少，但不知道具体是多少，如何使用数据去衡量一条信息的信息量是多少？熵刚好可以衡量信息的多少。 信息量等于不确定性的多少，例如(如无特殊说明骰子都是指正六面骰子)： A: “丢一次骰子，数字小于等于6的概率是多少？”：骰子上的数字是1、2、3、4、5、6，丢一次骰子，它的数字肯定是小于等于6的，它的不确定性是0，所以它的信息量也是0； B: “丢一次骰子，数字小于等于3的概率是多少？”：丢一次骰子，它的数字小于等于3的概率是12\frac{1}{2}21​，这
信息的度量——信息熵
Lenskit
05-14 6461
我们常说信息有用，那么它的作用如何客观、定量地体现出来呢？信息用途的背后是否有理论基础呢？这个问题一直没有很好的回答，直到1948年，香农在他的论文“通信的数学原理”中提到了“信息熵”的概念，才解决了信息的度量问题，并量化出信息的作用。     一条信息的信息量与其不确定性有着直接的关系，比如我们要搞清一件非常不确定的事，就需要大量的信息。相反如果对某件事了解较多，则不需要太多的信息就能把它搞清
信息量与信息熵
qq_29566629的博客
05-29 222
信息量 香农他老人家作为一个旷世天才，研究出了信息论这一对后世产生了巨大影响的理论，而这一理论的基础概念就是信息量。 “信息是用来消除随机不确定性的东西”。也就是说衡量信息量大小就看这个信息消除不确定性的程度。 “太阳从东方升起了”这条信息没有减少不确定性。因为太阳肯定从东面升起。这是句废话，信息量为0。 “吐鲁番下中雨了”（吐鲁番年平均降水量日仅6天）这条信息比较有价值，为什么呢，因为按统计来看...
python信息熵度量
最新发布
03-19
在Python中，可以使用SciPy库中的entropy函数来计算信息熵。 要使用SciPy库中的entropy函数，首先需要安装SciPy库。可以使用以下命令来安装SciPy： ``` pip install scipy ``` 安装完成后，可以使用以下代码来...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值