信息论随笔（三）交互信息量

Milanien

于 2022-11-19 11:57:11 发布

阅读量694

点赞数

分类专栏：信息论随笔文章标签：信息论

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/Milanien/article/details/127934671

版权

信息论随笔专栏收录该内容

3 篇文章

订阅专栏

本文探讨了在两个相关事件中如何量化信息的传递。通过引入条件概率的概念，定义了交互信息量来衡量一个事件能为另一个事件减少多少不确定性，并介绍了三种计算交互信息量的方法。

摘要由CSDN通过智能技术生成

之前讨论了一个事件的自信息量，但是实际情况下往往有多个事件发生，而且这些事件之间相互是有联系的。比如知道一个人踢足球，那么这个人很有可能会看世界杯。也就是说，我们可以通过一个事件获得另外一个事件的信息，或者说，消除另外一个事件的不确定性。（信息量是用来衡量不确定性的。）那么，如何在数学上表示这种情况呢？

考虑事件A和事件B，它们发生的概率分别是P(a)和P(b)。如何计算事件A可以从事件B中获得多少信息量？

事件B发生前，事件A的信息量（不确定性） $I_1$ ： $log(\frac 1 {P(a)})$

事件B发生后，事件A的概率是在事件B发生条件下的概率： $P(a|b)$ ，事件A的信息量（不确定性） $I_2$ 为 $log(\frac 1 {P(a|b)})$

那么事件A从事件B中获得的信息量即 $I_1-I_2$ 。事件A的不确定性被事件B消除了一部分，所以信息量减少了。

$I(A;B)=log(\frac 1 {P(a)}) - log(\frac 1 {P(a|b)})=log(\frac {P(a|b)} {P(a)})$

由于 $P(a|b) = \frac {P(ab)}{P(b)}$ ，代入上式可得 $I(A;B)=log(\frac {P(ab)} {P(a)P(b)})=log(\frac {P(b|a)}{P(b)})$ ，该式子等于事件B从事件A中获得的信息量。

上式表明了事件A从事件B中获得的信息量与事件B从事件A中获得的信息量是相同的，交互信息量是对称的。

对上个式子进行变形，还可以得到 $I(A;B)=log(\frac {P(ab)} {P(a)P(b)})=log(\frac {1}{P(a)})+log(\frac {1}{P(b)})-log(\frac {1}{P(ab)})$

这个式子可以从系统的整体来看，系统的信息量的变化等于事件A的自信息量加上事件B的自信息量减去事件A和事件B同时发生的信息量。

所以交互信息量有3种算法： $I(A;B) = H(A)-H(A|B)=H(B)-H(B|A)=H(A)+H(B)-H(AB)$

其中H代表信息熵。（单个事件发生时信息熵就是这个事件的自信息量）

评论 1

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。