条件自信息量与互信息量的区别

最新推荐文章于 2023-07-26 11:00:34 发布
最新推荐文章于 2023-07-26 11:00:34 发布
阅读量4.3k 收藏 15
点赞数 5
文章标签： 概率论
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_52150320/article/details/121729115
版权
本文主要区分了自信息量、条件信息量和互信息量的概念，并提供了它们的数学公式。自信息量衡量的是事件的不确定性，条件信息量是在已知另一事件的情况下，事件的剩余不确定性。互信息量则表示在获取一个事件信息后，对另一个事件信息量的减少。通过理解这些概念，有助于解决涉及信息量的问题。
摘要由CSDN通过智能技术生成

条件自信息量与互信息量的区别

前言

在学习过程中我常将互信息量与条件自信息量两者混淆，在此做出总结加以区分

一、两者概念区分

因为条件信息量的本质是自信息量，因此我们先抛出自信息量的概念

1、自信息量

对 b j b_{j} bj​ 一无所知的情况下，对 a i a_{i} ai​的不确定度

2、条件信息量

在已知 b j b_{j} bj​的条件下， a i a_{i} ai​仍然存在的不确定度

3、互信息量

在接受到 b j b_{j} bj​后，获得的关于 a i a_{i} ai​

最低0.47元/天 解锁文章
不二夏
关注
自信息, 信息熵, 互信息和K-L散度
几何君的算法天空
09-08 5946
香农-信息论领域的牛顿 香农一生发表的文章并不多，但是篇篇都是精品。 Amethematical theory of communication通信的数学理论 第一篇文章中提出了比特（bit）的概念。比特究竟测量的是什么呢？香农的回答是：用于测量信息的单位。在香农眼里，信息是和长度、重量这些物理量一样，是一种可以测量和规范的东西。由于对于通信系统而言，其传递的信息具有随机性，所以定量描述信息应基
条件自信息跟互信息区别简述
肥宅Sean
06-28 5946
简述 （PS部分，可以是拓展部分，可不看） 条件自信息： 条件自信息，本质上还是自信息。定义上，明确指出，是在已知事件y=bjy=bjy = b_j发生的条件下，x=aix=aix = a_i的自信息。 互信息： 互信息的话，并没有想象中的那么独立。其实，在互信息的定义中，就是依据自信息来定义的。本质上是通过数学表达式定义的。但是通过这个定义式，不难直接退出一个跟自信息相关的公式。 I(X...
【信息论基础】离散信息的度量—自信息和互信息
水w的博客
10-07 2404
【信息论基础】离散信息的度量—自信息和互信息
信息熵、自信息与互信息
Cheney的博客
01-12 5837
信息熵 对某件事件的不确定性叫做熵，熵值单位为byte，计算公式为：。它是统计平均意义下的不确定性，包括熵，条件熵，联合熵。 例如对于一道选择题A、B、C、D四个选项，后面的百分数为选该选项的概率，假设如下我们来分析熵值： A:25% B:25% C:25% D:25% 四种等可能，log4=2bit，可以理解为需要两个比特位来表示ABCD分别为00、01、10、11；当然也可以理解为要选出任意一个选项，需要抛两次硬币来确定，先后顺序为：正反、正正、反正，反反； A:100% B:0%...
Conditional mutual information 条件互信息
可视化和机器学习
12-01 1万+
主要参考wiki， 另外参考下面博客的联合熵部分的感性理解，对联合熵的描述非常形象生动。 http://blog.csdn.net/pipisorry/article/details/51695283 首先理解信息（I）的定义 I 是衡量信息w的量，只和w发生的概率P(w)有关，认为I(w)=f(P(w))I(w)=f(P(w))。 并且满足公式 I(A,B)=I(A)+I(B)P(A,B)
互信息,互信息量,matlab
09-10
互信息（Mutual Information, MI）是由克劳德·香农在1948年提出的一个统计量，用于量化两个随机变量X和Y之间的关联程度。它不是对称的，但满足非负性和单调性。如果X和Y完全独立，则它们的互信息为零；反之，如果X...
信息论与互信息
01-06
事件x,y之间的互信息等于“x的自信息”减去“y条件下x的自信息”，I(x)表示x的不确定性，I(x|y)表示在y发生条件下，x的不确定性 I(x;y)表示当y发生后x不确定性的变化，两个不确定度之差，是不确定度消除的部分，代表...
信息度量（一）：自信息、互信息与信息散度
ln_guangchen的博客
02-06 1915
目录1 自信息1.1 自信息1.2 条件自信息1.3 联合自信息2 互信息2.1互信息2.2 条件互信息3 信息散度 1 自信息 自信息是用来衡量单一事件发生时所包含的信息量，这里主要介绍自信息、条件自信息与联合自信息。 1.1 自信息 事件集合X中的事件x=aix=a_ix=ai​的自信息定义为I(x)=−log⁡p(x)I(x)=-\log{p(x)}I(x)=−logp(x)上式中，对p(x)p(x)p(x)有，∑xp(x)=1\sum\limits_{x}{p(x)=1}x∑​p(x)=1，0≤p(
硬核！涵盖所有内容的信息论与编码期末复习提纲
06-10
第二章 信息的统计度量是信息论的基础，包括自信息量、联合自信息量、条件自信息量和互信息量。自信息量衡量的是一个事件发生的不确定性，其大小与事件的概率有关。互信息量则描述了两个随机变量之间的关联程度，...
互信息与条件互信息
最新发布
qq_43602554的博客
07-26 633
互信息
熵、信息熵、互信息、条件熵区别
奥古斯都
08-26 1501
1、熵 在初中化学中学过，熵越大表示其混乱程度越大，熵越小表示混乱程度越小。因此在决策树中分类节点中用到了信息熵的概念。 2、信息熵 假设有个离散变量x，有一个概率分布p(x),信息熵H(x) 3、条件熵 定义：在一个条件下，随机变量的不确定性。 4、信息增益 在一个条件下，信息不确定性减少的程度 H（X,Y） = H（x）-H（Y|X） 5、互信息 定义：指的是两个随机变量之间的相关程度。 ...
条件互信息的理解(Conditional Mutual Information)
热门推荐
tangxianyu的博客
10-25 1万+
在概率论，尤其是信息论中，条件互信息的基本形式是在给定第三个变量值的情况下，两个随机变量互信息的期望值。 对于离散随机变量X,Y,Z，其条件互信息为： 用图形表示条件互信息为： 具体的定义等后续补充。 ...
对互信息量的理解
susiesun99的博客
05-26 1万+
在概率论与随机过程中对于两个随机变量X与Y，我们仅仅停留在随机变量X与Y是否相关这个非黑即白的问题，
熵、信息量、条件熵、联合熵、互信息简单介绍
qq_43428929的博客
05-14 2191
近期在看对比学习论文，发现有不少方法使用了互信息这种方式进行约束，故在此整理一下网上关于互信息的相关内容。
几句话之决策树、信息量、信息熵、条件信息熵、信息增益、信息增益率
清零2015的博客
11-13 527
准备工作 学习决策树，要先了解信息熵和信息增益等概念。 参考： https://blog.csdn.net/zhengudaoer/article/details/80240529 ###信息量： 可以把它理解为含金量。信息量越大，含金量越高。 【比如】： 今天公司突然通知春节上班。那这句话的信息量就太大了，简直是爆炸性新闻。 如果全国有10000家公司，已知有9999家公司春节放假。公司宣布完之...
特征选择——互信息量
weixin_43854177的博客
11-01 5621
  最近做了一个数据比赛，由于对数据背后的业务不太了解，所以特征工程大多采取了“暴力”提取的方式，特征过多直接导致模型存在过拟合问题。所以个人的赛后感受是在做特征工程的过程中就要考虑特征的取舍问题，主要通过特征与因变量Y之间的相关性分析做出判断。   衡量单变量的相关性指标有很多，比如Pearson相关系数、互信息量 信息量 信息熵 互信息量 ...
2020-10-07
komorebi125的博客
10-07 172
信源熵与互信息量
互信息（Mutual Information）
weixin_30311605的博客
10-27 6134
　　本文根据以下参考资料进行整理： 　　1.维基百科：https://zh.wikipedia.org/wiki/%E4%BA%92%E4%BF%A1%E6%81%AF 　　2.新浪博客：http://blog.sina.com.cn/s/blog_6255d20d0100ex51.html 　　在概率论和信息论中，两个随机变量的互信息（Mutual Informatio...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值