信息熵基础（4）

最新推荐文章于 2022-09-03 15:37:15 发布

汤宪宇

最新推荐文章于 2022-09-03 15:37:15 发布

阅读量1k

点赞数

文章标签：熵互信息

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/tangxianyu/article/details/100535737

版权

本文摘抄自《信息论基础-第二版》第二章：熵、相对熵与互信息

4. 熵与互信息的关系

可将互信息I(X;Y)重新写为：

$I(X;Y)=\sum_{x,y}p(x,y)\log\frac{p(x,y)}{p(x)p(y)}=\sum_{x,y}\log\frac{p(x|y)}{p(x)}$

$=-\sum_{x,y}p(x,y)\log p(x)+\sum_{x,y}p(x,y)\log p(x|y)$

$=-\sum_{x}p(x)\log p(x)-(-\sum_{x,y}p(x,y)\log p(x|y))$

$=H(X)-H(X|Y)$

由此，互信息I(X;Y)是在给定Y知识的条件下X的不确定度的缩减量。

对称的，亦可得到 $I(X;Y)=H(Y)-H(Y|X)$ ，因而，X含有Y的信息量等同于Y含有X的信息量。

由第二节知，H(X,Y)=H(X)+H(Y|X)，得到公式：

$I(X;Y)=H(X)+H(Y)-H(X,Y)$

最后注意到I(X;X)=H(X)-H(X|X)=H(X)，因此随机变量与自身的互信息为该随机变量的熵。有时，熵成为自信息(self-information)就是这个原因。

定理2.4.1 互信息于熵

$\newline I(X;Y)=H(X)-H(X|Y) \newline I(X;Y)=H(Y)-H(Y|X) \newline I(X;Y)=H(X)+H(Y)-H(X,Y) \newline I(X;Y)=I(Y;X) \newline I(X;X)=H(X)$

H(X),H(Y),H(X,Y),H(X|Y),H(Y|X)和I(X|Y)之间的关系可用文氏图表示。可注意到，互信息I(X;Y)对应于X的信息和Y的信息相交的部分。

关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
信息熵基础（4）

本文摘抄自《信息论基础-第二版》第二章：熵、相对熵与互信息4. 熵与互信息的关系可将互信息I(X;Y)重新写为：由此，互信息I(X;Y)是在给定Y知识的条件下X的不确定度的缩减量。对称的，亦可得到，因而，X含有Y的信息量等同于Y含有X的信息量。由第二节知，H(X,Y)=H(X)+H(Y|X)，得到公式：最后注意到I(X;X)=H(X)-H(X|X)=H(...
复制链接

扫一扫

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。