【信息论】图形记忆熵、联合熵、条件熵、互信息之间的关系

最新推荐文章于 2022-10-20 20:36:31 发布
最新推荐文章于 2022-10-20 20:36:31 发布
阅读量2.5k 收藏 3
点赞数 1
分类专栏： 信息论
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38705903/article/details/101053910
版权
本文介绍了信息论中的基本概念，包括熵（H(X), H(Y)）、条件熵（H(X|Y), H(Y|X)）、联合熵（H(X,Y)）和互信息（I(X,Y)）。通过举例说明，阐述了这些概念之间的数学关系，以及如何用它们来量化随机变量间的不确定性。同时，提出了未共享信息的概念——the variation of information (V(X,Y))，并解释了其与其它信息量的关系。" 111553066,7719606,Ubuntu下编译Android源码全攻略,"['Android开发', '编译工具', 'Linux环境', '源码编译']
摘要由CSDN通过智能技术生成

图片取自http://colah.github.io/posts/2015-09-Visual-Information/

在这里插入图片描述

基本概念

（1）熵，也叫信息熵，为上图的 H ( X ) H(X) H(X)与 H ( Y ) H(Y) H(Y)。
H ( X ) H(X) H(X)表示随机变量 Y Y Y的不确定性。
H ( Y ) H(Y) H(Y)表示随机变量 X X X的不确定性。

（2）条件熵，为上图的 H ( X ∣ Y ) H(X|Y) H(X∣Y)与 H ( Y ∣ X ) H(Y|X) H(Y∣X)。
H ( X ∣ Y ) H(X|Y) H(X∣Y)表示在已知随机变量 Y Y Y的条件下，随机变量 X X X的不确定性。
H ( Y ∣ X ) H(Y|X) H(Y∣X)表示在已知随机变量 X X X的条件下，随机变量 Y Y Y的不确定性。

（3）联合熵，为上图的 H ( X , Y ) H(X,Y) H(X,Y)。
H ( X , Y ) H(X,Y)

最低0.47元/天 解锁文章
Vincent__Lai
关注
专栏目录
详解熵、最大熵、联合熵和条件熵、相对熵以及互信息之间的关系
随遇而安_小强的博客
07-03 1万+
信息量的定义 某事件发生的概率小，则该事件的信息量大。 定义随机变量XXX的概率分布为P(X)P(X)P\left( X \right),XXX的信息量为：h(X)=−log2P(X)h(X)=−log2P(X)h\left( X \right) = - {\log _2}P\left( X \right). 熵 对随机事件按的信息量求期望，得到随机变量XXX的熵： H(X)=−∑...
最大熵模型（Maximum Etropy）—— 熵，条件熵，联合熵，相对熵，互信息及其关系，最大熵模型。。...
weixin_30667649的博客
06-13 677
引入1：随机变量函数的分布 给定X的概率密度函数为fX(x), 若Y = aX, a是某正实数，求Y得概率密度函数fY(y). 解：令X的累积概率为FX(x), Y的累积概率为FY(y). 则FY(y) = P(Y <= y) = P(aX <= y) = P(X <= y/a) =FX(y/a), 则 fY(y) = d(FX(y/a)) / dy = 1...
matlab求两幅图像的联合熵
02-14
该m文件是求两幅图像联合熵的函数代码，简洁明了易懂！
图像的熵、联合熵、互信息
姿迷姿乐
12-05 9128
图像的熵和两幅图像的联和熵的定义如下：   其中，AB联合概率分布和关于A和关于B的边缘概率分布都可以由联合直方图归一化获得。 Matlab实现代码如下： （1）图像的熵 function shang = ssshang(X) [m,n,t]=size(X); I3 = double(X)+1; s(256) = 0; for i = 1:m for j
信息论的基本概念（自信息，条件熵，联合熵，互信息，条件互信息）
koala_cola的博客
09-09 7934
自信息 香农当时希望自信息这个概念要满足如下几个条件： 1、一个百分百发生的事件不提供任何信息 2、这个事件越不可能发生，他的发生将会提供更多信息 3、如果两个独立事件是分开测量的，他们的自信息总和就是他们分别的自信息之和 这第三点也就是说满足下面这个式子（假设I(x)I(x)I(x)代表x的自信息）： I(x,y)=I(x)+I(y)式1 I(x,y)=I(x)+I(y) \quad式1 I(x,y)=I(x)+I(y)式1 我们知道，独立的两个事件一同发生的概率是 P(x,y)=P(x) ∗&
信息论笔记（需要编辑格式）
weixin_43320465的博客
01-02 9320
主要来源：吴军·信息论40讲 信息论介绍 世界上任何一个探索者都需要清楚三件事:我们现在的位置,我们的目标,以及通向目标的道路。 哲学是一门生活的艺术,它帮助我们认清自己,它回答了第一个问题。至于每一个人的目标,我相信大家比我更清楚。而第三件事其实是方法论。一般没有科学基础的方法论常常难以持久。 世界上的知识,可以分为道和术两个层面 这门课讲的是道的层面的知识,它不会讲述任何具体的方法,比如信息的采集、处理或者传输的理论细节。这样,我们就能够把重点放在讲述用信息论指导做事的方法上,以便让我们能够在不断.
机器学习相关基础-信息论
UCASer
03-27 479
  联合熵与条件熵   链式法则 H(X,Y)=H(X)+H(Y∣X)H(X,Y)=H(X)+H(Y|X)H(X,Y)=H(X)+H(Y∣X)   证明： H(X,Y)=−∑x∈χ∑y∈ \begin{aligned} H(X,Y)&amp;=-\sum_{x\in\chi}\sum_{y\in} \end{aligned} H(X,Y)​=−x∈χ∑​y∈∑​​   互信息 I(X;Y)...
信息论第二章PPT 看看咯
12-28
互信息则是衡量两个随机变量之间相互依赖程度的度量，常用于描述信源编码和信道编码之间的关系。 此外，条件熵是给定另一个随机变量的情况下，原始随机变量的熵，它描述了在已知某些信息的情况下，对原始信息的不...
香农法诺熵：香农法诺熵-matlab开发
05-29
此外，还可以进行扩展，如计算条件熵、联合熵、互信息等，进一步研究信息理论中的其他重要概念。 总之，"香农法诺熵-matlab开发"是一个将信息论理论与实际编程相结合的主题，通过MATLAB这个工具，我们可以深入理解...
计算一幅图像信息的熵以及两幅图像间的联合熵matlab源码
05-26
用matlab软件计算一幅图像信息的熵以及两幅图像间的联合熵
求图像熵及联合熵、平均梯度的IDL小程序
04-12
求图像熵及联合熵、平均梯度的IDL小程序
图像熵的意义以及计算
bestluyf的专栏
02-26 2348
熵（entropy）指的是体系的混乱的程度，它在控制论、概率论、数论、天体物理、生命科学等领域都有重要应用，在不同的学科中也有引申出的更为具体的 定义，是各领域十分重要的参量。熵由鲁道夫·克劳修斯（Rudolf Clausius）提出，并应用在热力学中。后来在，克劳德·艾尔伍德·香农（Claude Elwood Shannon）第一次将熵的概念引入到信息论中来。 图像熵表示为图像灰度级集
信息安全—密码学信息熵信息理论基础—熵的概念(熵、联合熵、条件熵、平均互信息)
qq_44131896的Vlog
06-03 4285
数学基础：概率论乘法法则 两个事件相互独立：P(A∩B) = P(A)×P(B) · 意思是事件A和事件B同时发生的概率 = 事件A发生的概率 × 事件B发生的概率 · · 举个栗子：掷两枚硬币硬币同时立着的概率 = 掷一枚硬币立着的概率 × 再掷一枚 · · 硬币立着的概率。 两个事件非独立：P(A∩B) = P(A)×P(B|A) = P(B)×P(A|B) · 意思是事件A和事件B同时发生的概率 = 事件A发生的概率 × 在事件A发生的概率下事 · 件B发生的概率 = 事件B发生的概率 × 在事件B.
信息熵
devinwood的博客
09-11 535
熵的相关概念整理
概率论 | 联合熵、条件熵、互信息之间的表示、关系及大小
日拱一卒，功不唐捐
10-20 1783
联合熵、条件熵、互信息之间的关系及大小
常见的熵值
CNMBNYZW2的博客
07-03 1374
常见熵值排列熵样本熵模糊熵近似熵 排列熵 求[4, 7, 9, 10, 6, 11, 3]的排列熵 图1 计算过程 原理参看[链接](https://blog.csdn.net/weixin_43730228/article/details/110728962?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522162528021916780264045596%2522%252C%2522scm%2522%253A%252220140713.13
计算条件熵的小例子
rover
03-02 4241
一个二进制源X发出符号集为{-1,1}，经过离散无记忆信道传输，由于信道中噪音的存在，接收端Y收到符号集为{-1,1,0}。已知： P(x=-1)=1/4，P(x=1)=3/4，P(y=-1|x=-1)=4/5，P(y=0|x=-1)=1/5，P(y=1|x=1)=3/4，P(y=0|x=1)=1/4 求：H(Y|X)。 H(Y|X)=p(x=-1)*H(y|x=-1) + p(x=1)*H(y...
基于SpringBoot仿天猫购物系统.zip(毕设&课设&实训&大作业&竞赛&项目)
最新发布
09-20
项目工程资源经过严格测试可直接运行成功且功能正常的情况才上传，可轻松复刻，拿到资料包后可轻松复现出一样的项目，本人系统开发经验充足（全领域），有任何使用问题欢迎随时与我联系，我会及时为您解惑，提供帮助。 【资源内容】：包含完整源码+工程文件+说明（如有）等。答辩评审平均分达到96分，放心下载使用！可轻松复现，设计报告也可借鉴此项目，该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的。 【提供帮助】：有任何使用问题欢迎随时与我联系，我会及时解答解惑，提供帮助 【附带帮助】：若还需要相关开发工具、学习资料等，我会提供帮助，提供资料，鼓励学习进步 【项目价值】：可用在相关项目设计中，皆可应用在项目、毕业设计、课程设计、期末/期中/大作业、工程实训、大创等学科竞赛比赛、初期项目立项、学习/练手等方面，可借鉴此优质项目实现复刻，设计报告也可借鉴此项目，也可基于此项目来扩展开发出更多功能 下载后请首先打开README文件（如有），项目工程可直接复现复刻，如果基础还行，也可在此程序基础上进行修改，以实现其它功能。供开源学习/技术交流/学习参考，勿用于商业用途。质量优质，放心下载使用。
信息论基础：熵与最大熵原理
这本书以其深入浅出的讲解方式，全面覆盖了信息论的基础概念和核心理论，包括熵、联合熵、条件熵以及最大熵等关键知识点。 熵在信息论中是一个极其重要的概念，它量化了一个随机变量的不确定性。Shannon熵是信息论...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值