目录
一、自信息
◼ 自信息
自信息主要描述：随机事件中，某一个事件自身的属性。
比如：
- 从1到10中随机抽取一个数字，可能的结果有10个，那么抽出的数字为5的概率就是1/10。
- 从1到100中随机抽取一个数字，可能的结果有100个，那么抽出的数字为5的概率就是1/100。
前后两个实验相比较，我们可以发现，前一个实验的不确定度小，后一个实验的不确定度大。
那么根据客观事实和人们的习惯概念，应该满足以下条件：
根据上述条件，可以从数学上证明这种函数形式是对数函数，
我们严格定义一下，那么一个事件集合X当中， 某一个事件Xi的自信息等于它的-log概率。其中，
- 要想I(x)非负，就要使得底数大于1；
- 概率应该是归一的；
关于对数底的选取，一般有3种情况：
我们可以看到，自信息是随机变量，而且自信息的含义可以从以下两个方面来理解：
- 事件发生前---->事件发生的不确定性：
- 小概率的事件发生了则说明事件发生的不确定性是比较大的；
- 大概率的事件容易发生，则说明事件发生的不确定性是比较小的；对于一个必然发生的事件那么不确定性是0；
- 事件发生后---->事件包含的自信息：那么自信息代表的含义就是这个事件提供给我们的自信息。
- 小概率的事件发生了，则提供给我们的信息量是比较大的；
- 相反，大概率的事件发生了，则提供给我们的信息量是比较小的；
实际上，自信息的表示与我们直观的感受是非常吻合的。也就是说大概率的事件发生了，人觉得很平常；小概率的事件发生了，人们却觉得很意外，包含的信息量大。
比如说飞机失事的概率比平常的交通事故的概率要小，所以飞机一旦失事，那么它包含的信息量就会大的多（即事件发生之后提供的信息量也就大）。
例题
◼ 联合自信息
联合事件集合当中，
例题
◼ 条件自信息
我们可以看到，条件自信息的含义可以从以下两个方面来理解：
- y=bi给定，x=ai事件发生前---->事件发生的不确定性
- y=bi给定，x=ai事件发生后---->事件包含的自信息
例题
例题2
猜测困难程度也就是要计算自信息，第2小问是一个条件自信息：在已知行号的条件下，要猜列号，那么实际上猜列号的概率就变成了1/8 。第2小问相较于第1小问的不知道的情况下猜列号的困难程度是降低了。
◼ 自信息，联合自信息和条件自信息之间的关系
联合自信息等于x的自信息加上x条件下y条件自信息，或者等于y的自信息加上y条件下x条件自信息。
二、互信息
◼ 互信息
互信息主要描述：两个随机事件集合中，两个单一事件的关系。
我们可以看到，互信息就等于x的自信息减去y条件下x条件自信息。
那么I(x;y)和I(x|y)的区别是什么呢？
I(x;y)就表示通过y事件的发生，能够提供给x事件的信息量是多少，也就是说通过y事件获得了关于x事件一定的信息量。
而I(x|y)就表示在y发生的条件下，x事件发生的不确定性是多少。
起初x有一个自身的不确定性，那么通过y的发生，x的不确定性也就有了一个变化。那么这两个的差值（互信息，也就是x的自信息减去y条件下x条件自信息），也就是说通过y事件获得了关于x事件一定的信息量，就是一个不确定性的消除。
互信息的含义，实际上在通信系统当中，表明的意思是：当我们在接收端收到一个消息序列y之后，那么我们可以知道发送端消息序列x的信息量是多大。
互信息的性质
上文为我们讲到的，不管是自信息，还是联合自信息和条件自信息，都是非负的，但是互信息是可正可负的。也就是说通过y获得了关于x事件的信息量，
- 如果y的发生有利于x的发生，那么互信息就是正值；
- 如果y的发生不利于x的发生，那么互信息就是负值；
例题
那么就可以说明，“空中有乌云”这个事件的发生有利于“降雨”事件的发生，因此就提供了一个正的互信息；“空中有乌云”这个事件的发生不利于“无雨”事件的发生，因此就提供了一个负的互信息。
◼ 条件互信息
例题
3336
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
