直观理解信息论概念(条件熵,联合熵,互信息,条件互信息)

1.概括图

在这里插入图片描述
其中:A=I(x;y|z),B=I(x;z|y),C=I(y;z|x),D=I(x;y;z)

这里不难看出以下几点结论。
一、在某个条件下,意味着已知这部分条件的信息,在计算条件熵(熵即不确定度,或者从公式上看是信息量的期望)时就把这部分已知的信息给减去。
例如:
H(X|Y)=H(x)-I(x;y)
二、联合熵是对应的并集,认知上讲,X和Y的联合信息量,等价于已知X加上已知X基础上关于Y的,同样等价于已知Y加上已知Y基础上关于X的。
例如:
H(X,Y)=H(X)+H(Y|X)=H(Y)+H(X|X)
三、互信息是对应的交集,X和Y的互信息即X和Y公共的信息,等价于X减去已知Y后X还剩下的,同样等价于Y减去已知X后Y还剩下的。
例如:
I(x;y)=H(X)-H(X|Y)=H(Y)-H(Y|X)
四、条件互信息和条件熵类似,直观上计算可以参考概括图,几何上加减可推导相应的公式出来。概括图中,红色圆是H(X),红色圆除去A、B、D这三部分后就是H(X|Y,Z)。黑色和紫色可同理。
例如:
I(x;y|z)=H(X)-H(X|Y,Z)-I(x;z)=H(X)-H(X|Y,Z)-(H(X)-H(X|Z))=H(X|Z)-H(X|Y,Z)

2.自信息

公式:

在这里插入图片描述

3.熵

公式:

在这里插入图片描述

4.联合熵

公式:

在这里插入图片描述

5.条件熵

公式:

在这里插入图片描述

6.互信息

公式:

在这里插入图片描述

7.条件互信息

公式:

在这里插入图片描述

  • 3
    点赞
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值