信息论随笔（三）交互信息量

最新推荐文章于 2023-11-28 22:44:46 发布

Milanien

最新推荐文章于 2023-11-28 22:44:46 发布

阅读量567

点赞数

分类专栏：信息论随笔文章标签：信息论

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/Milanien/article/details/127934671

版权

信息论随笔专栏收录该内容

3 篇文章 0 订阅

订阅专栏

之前讨论了一个事件的自信息量，但是实际情况下往往有多个事件发生，而且这些事件之间相互是有联系的。比如知道一个人踢足球，那么这个人很有可能会看世界杯。也就是说，我们可以通过一个事件获得另外一个事件的信息，或者说，消除另外一个事件的不确定性。（信息量是用来衡量不确定性的。）那么，如何在数学上表示这种情况呢？

考虑事件A和事件B，它们发生的概率分别是P(a)和P(b)。如何计算事件A可以从事件B中获得多少信息量？

事件B发生前，事件A的信息量（不确定性） $I_1$ ： $log(\frac 1 {P(a)})$

事件B发生后，事件A的概率是在事件B发生条件下的概率： $P(a|b)$ ，事件A的信息量（不确定性） $I_2$ 为 $log(\frac 1 {P(a|b)})$

那么事件A从事件B中获得的信息量即 $I_1-I_2$ 。事件A的不确定性被事件B消除了一部分，所以信息量减少了。

$I(A;B)=log(\frac 1 {P(a)}) - log(\frac 1 {P(a|b)})=log(\frac {P(a|b)} {P(a)})$

由于 $P(a|b) = \frac {P(ab)}{P(b)}$ ，代入上式可得 $I(A;B)=log(\frac {P(ab)} {P(a)P(b)})=log(\frac {P(b|a)}{P(b)})$ ，该式子等于事件B从事件A中获得的信息量。

上式表明了事件A从事件B中获得的信息量与事件B从事件A中获得的信息量是相同的，交互信息量是对称的。

对上个式子进行变形，还可以得到 $I(A;B)=log(\frac {P(ab)} {P(a)P(b)})=log(\frac {1}{P(a)})+log(\frac {1}{P(b)})-log(\frac {1}{P(ab)})$

这个式子可以从系统的整体来看，系统的信息量的变化等于事件A的自信息量加上事件B的自信息量减去事件A和事件B同时发生的信息量。

所以交互信息量有3种算法： $I(A;B) = H(A)-H(A|B)=H(B)-H(B|A)=H(A)+H(B)-H(AB)$

其中H代表信息熵。（单个事件发生时信息熵就是这个事件的自信息量）

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
信息论随笔（三）交互信息量

之前讨论了一个事件的自信息量，但是实际情况下往往有多个事件发生，而且这些事件之间相互是有联系的。也就是说，我们可以通过一个事件获得另外一个事件的信息，或者说，消除另外一个事件的不确定性。这个式子可以从系统的整体来看，系统的信息量的变化等于事件A的自信息量加上事件B的自信息量减去事件A和事件B同时发生的信息量。考虑事件A和事件B，它们发生的概率分别是P(a)和P(b)。上式表明了事件A从事件B中获得的信息量与事件B从事件A中获得的信息量是相同的，交互信息量是对称的。，该式子等于事件B从事件A中获得的信息量。
复制链接

扫一扫

专栏目录

评论 1

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。