信息论 函数的熵

已于 2023-12-12 15:42:40 修改
阅读量168 收藏 5
点赞数 35
分类专栏： 信息论 文章标签： 笔记
于 2023-12-09 22:41:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41932686/article/details/134901723
版权

 函数的熵

题目来源：《信息论基础-[美] Thomas M. Cove》的课后习题

设X是取有限个值的随机变量。如果

（1） Y = 2{^{X}}

（2）Y = COS X

H(X)和H(Y)的不等关系（或一般关系）是什么？

解：令y = g(x)

       ∵y是x的确定函数

       ∴在给定x的情况下，y的取值是确定的

       ∴H(Y|X) = -\sum p(y|x)logp(y|x) = 0

       而H(X,Y) = H(X) + H(Y|X)=H(X)       

       ∵H(X|Y)\geqslant 0（当g(\cdot )是一对一映射时取等）

       ∴H(X,Y)=H(Y)+H(X|Y)\geqslant H(Y)

       ∴H(X,Y)=H(X)\geqslant H(Y)

       即H(X)\geqslant H(Y)，当g(\cdot )是一对一映射时取等

（1）Y = 2{^{X}}是一对一映射，所有H(X)=H(Y)

（2）Y = COS X不一定是一对一映射，所以H(X)\geqslant H(Y)。当且仅当cos在X的范围上是一对一映射时等号成立

一些解释

（1）y = g(x)

g(\cdot )是表示X到Y的映射。

构成映射的条件是一个X必须是与一个Y对应的，而不是一个X可以对应多个Y。但是一个Y可以对应多个X。

（2）在给定x的情况下，y的取值是确定的，即 P(y|x) = 1

X到Y是一个通过g(\cdot )的映射。

如图，当X是确定的，由于是映射，那么Y的值肯定是确定的，即P(y|x) = 1。

（3）H(X|Y)\geqslant 0

由熵的非负性可知H(X|Y)\geqslant 0。

当g(\cdot )是一对一映射，如图，即一个Y对应一个X，即在给定y的情况下，x的取值是确定的，即 P(x|y) = 1，所以H(X|Y) = -\sum p(x|y)logp(x|y) = 0。

                                                 

（4）Y = COS X

Y = COS X在一个周期内的取值是一对一的映射。

芒果冰冰包
关注
  • 35
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
专栏目录
信息论的熵
skiwnc的博客
11-11 2807
信息论的熵
信息论——熵
ChenYuhan1987的专栏
12-06 3073
前置知识 　 　　 　　　　上述公式是自信息量公式，该单位取决于对数的底，若以2为底，则单位为比特（bit），以e为底，单位为奈特，以10为底，单位为哈特。通常我们取比特为单位。 熵 　　　　熵是从整个集合的统计特性来考虑的，他从平均意义上来表征信源的总体特征。 　　　　公式如下： 　　　　信息熵具有以下两个物理含义： 　　　　　　1.表示信源输出前，信源...
信息论：熵与互信息
热门推荐
皮皮blog
11-25 9万+
熵/信息熵http://这篇文章主要讲：熵, 联合熵(joint entropy),条件熵(conditional entropy),相对熵(relative entropy,KL 距离),互信息(mutual information),交叉熵(cross entropy),困惑度(perplexity)。熵/信息熵在信息论中，熵是接收的每条消息中包含的信息的平均量，又被称为信息熵、信源熵、平均自信息量。这里， 消息代表来自分布或数据流中的事件、样本或特征。
信息论中的熵
qq_45008831的博客
09-23 2653
导论 热力学中的熵：是表示分子状态混乱程度的物理量。 信息论中的熵：用来描述信源的不确定性大小（信息论创始人香农借用了热力学中熵的概念）。 目前在机器学习、深度学习中经常看到与熵有关的概念。 经常使用的熵概念有下列几种： 信息熵（本节内容） 交叉熵 相对熵 条件熵 互信熵 熵和信息的区别 此刻的你接受着我所产生的文字、图片，但你知道我所传递的内容并不是这些媒介本身，而是信息。我们时时刻刻都在获取信息、讨论信息，然而到底什么是信息？ What’s information? **香农认为信息是用来消除随机不
信息论中的各种熵
YoungGy的专栏
04-09 6279
本文简单介绍了信息论中的各种熵，包括自信息、熵；联合熵、条件熵、互信息；KL散度、交叉熵。并在最后用信息论中的交叉熵推导了逻辑回归，得到了和最大似然法相同的结果。
信息论模型——熵、互信息
jmhIcoding
12-06 1632
前言 在机器学习以及神经网络里面，我们经常会遇到“熵”、“互信息”、“条件熵”，“最大熵”等字眼，尤其是最大熵模型 在自然语言处理中用处可谓是超级大。这些概念都是信息论里面的东西，因此它们都被统一称为信息论模型。 这篇博客就是专门来研究一下信息论模型，先介绍基本概念，下篇博客介绍最大熵模型。 熵的定义 信息量 记离散型随机变量XXX，取xkx_{k}xk​的概率为pkp_{k}pk​.即： P(X...
信息论与熵，交叉熵
种一棵树最好的时间是十年前，其次是现在
03-31 595
多个事件同时发生的总信息量等于每个事件信息量的和. 小概率事件发生时，其所含信息量更大，当事件100%发生时，不含信息量，其形如下图函数，为-log函数。 熵是所有信息量的期望，如果一件事的事件空间由A、B、C组成： 不写底数，默认是以 2 为底。信息论中信息量单位通常采用比特，默认是以 2 为底的。 以 10 为底，会简写成 lg，信息量的单位是哈特。 以 e 为底，会简写成 ln，信息量的单位是纳特。 相对熵又称KL散度。其反应两个分布的近似程度： 值越小，近似程度越高。用来比较分类结果与标签：
信息熵及其相关概念
Leora的博客
10-28 1789
文章目录 1. 熵的定义是怎么来的？ 1.1 信息熵的三个性质 1.2 对信息熵三条性质的理解 1.3 回看信息熵定义 2. 伯努利分布熵的计算[3] 3. 两随机变量系统中熵的相关概念[4] 3.1 互信息 3.2 联合熵 3.3 条件熵 3.4 互信息、联合熵、条件熵之间的关系 4. 两分布系统中熵的相关概念[5] 4.1 交叉熵 4.2 相对熵 4.3 相对熵与交叉熵的关系 参考 (https://blog.csdn.net/am29
关于信息论中信息熵，信息散度等的数学概念
mianmami的博客
02-02 1098
信息论基础知识信息自信息联合自信息条件信息互信息熵信息熵条件熵联合熵交叉熵KL散度/相对熵 信息 自信息 如果一句话发生的概率很大，那么它蕴含的信息就越少。例如：A知道B很有可能来，然后C对A说了一句：B很有可能来，这个是没有多大的意义的。但是，如果C对A说，不知道B会不会来，则这句话带来的信息量是比较高的。如果要用数学公式来衡量信息，它需要满足一下的条件： 非负性 这个函数得是单调递减函数：事情发生的概率越大，则蕴含的不确定性就越小，则信息量就越小。 当事情发生的概率是1时，信息量为0，当事情发生的概率
信息论：各种熵及其之间的关系
qq_41458274的博客
10-22 1632
各种墒的关系图：交集：I(X,Y)互信息，也就信息增益。并集：H(X,Y)联合熵。差集：H(X|Y),H(Y|X)条件熵。单个集合H(X),H(Y)：信息熵。看图可知，若知道信息熵和条件熵可以推出其他。
使用Matlab计算信源熵.zip_matlab信源熵_信息熵_信息熵 编码_信息论与编码_信源熵计算
09-15
在信息论中，信源熵是一个关键的概念，它表示一个随机变量或信源的不确定性。在本主题中，我们将深入探讨如何使用Matlab这个强大的数值计算软件来计算信源熵。Matlab因其丰富的数学函数库和友好的用户界面，成为进行...
MATLAB实现信息熵
06-29
信息熵是由克劳德·香农在信息论中提出的，公式定义为： \[ H(X) = -\sum_{i=1}^{n} p(x_i) \log_2 p(x_i) \] 其中，\( H(X) \) 是随机变量 \( X \) 的熵，\( n \) 是 \( X \) 可能取的值的数量，\( p(x_i) \) 是...
求字符的信源熵（信息论作业）
04-13
在信息论中，信源熵是衡量信源不确定度的重要概念。本文将通过C语言实现信源熵的计算，具体来说，我们将输入一个文件，统计文件中的字符总个数，然后计算每个字符的概率，并由此计算出信源熵。 首先，我们需要了解...
12306项目学习笔记（框架篇Base）
qq_74851649的博客
08-30 1106
首先学习的是基础框架提供了一种静态方式来访问Spring容器中的Bean，适用于某些特定场景，如工具类和框架集成。在12306项目中由于我们引入了RocketMQ消息队列，这些库的对象通常不是Spring管理的，无法直接使用@Autowired注入，所以需要类提供一种静态方式来访问Spring容器中的Bean。比如在我们的TicketServiceImpl中的bean对象就是用以下方法获取的。
算法的学习笔记—连续子数组的最大和
业精于勤，荒于嬉
08-29 3699
通过上述的动态规划方法，我们能够有效地解决连续子数组的最大和问题。该方法简单易懂，并且具有较高的效率，适合在大多数情况下使用。😁热门专栏推荐想学习vue的可以看看这个java基础合集数据库合集redis合集nginx合集linux合集手写机制微服务组件spring_尘觉springMVCmybits🤔欢迎大家加入我的社区尘觉社区文章到这里就结束了，如果有什么疑问的地方请指出，诸佬们一起来评论区一起讨论😁如果帮助到您不妨3连支持一下，创造不易您们的支持是我的动力🤞。
Datawhale X 李宏毅苹果书AI夏令营 学习笔记
最新发布
m0_61049596的博客
08-31 851
今天，我继续学习了深度学习中的优化算法，并且着重理解了如何利用。等高级优化器来提高模型训练的效率和效果。2024年8月30日。
谷粒商城实战笔记-282~283-商城业务-订单服务-提交订单的问题
epitomizelu的专栏
08-29 1156
Services Panel 是 IntelliJ IDEA 提供的一个功能模块，旨在帮助开发者更好地管理和监控应用程序中的服务组件。它位于 IDE 的右侧面板中，可以方便地访问一系列与项目相关的服务和工具。
算法的学习笔记—把数字翻译成字符串
业精于勤，荒于嬉
08-31 909
通过动态规划的方法，我们可以高效地计算出一个数字字符串有多少种不同的翻译方法。这个问题不仅考察了我们对动态规划的理解，还让我们熟悉了如何处理字符串中的边界情况和状态转移。希望通过这个例子的讲解，能够帮助你更好地理解动态规划的应用。😁热门专栏推荐想学习vue的可以看看这个java基础合集数据库合集redis合集nginx合集linux合集手写机制微服务组件spring_尘觉springMVCmybit欢迎大家加入我的社区尘觉社区文章到这里就结束了，如果有什么疑问的地方请指出，诸佬们一起来评论区一起讨论
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值