信息论随笔（一）自信息量

1.信息量与概率之间的关系

信息量是信息可以消除的不确定性，怎么理解呢？

直觉上看，一件事情发生的概率越小，消除的不确定性越多，信息量越大。比如太阳从西边升起，消除了很多的不确定性，信息量很大。反之，一件事情发生的概率越大，信息量越小，比如1+1=2，没有消除任何不确定性，因此信息量为0。

那么我们如何用一定的数学形式来量化信息量呢？

首先，我们可以从上述的例子得知，信息量一定和事件发生的概率负相关。那么是否可以用概率的倒数来表示信息量呢？概率的倒数可以满足上述条件，但是当概率为1时，信息量为1而不是0。那么用概率的倒数减去1呢？这种表示方法有一个很大的缺点，就是当概率很小或者很大时，信息量的取值量级相差很大。发生概率为10^-6的事件信息量为10^6-1，而发生概率为10^6的事件信息量为10^-6-1，相差12个量级。

一个很好的缩减量级的方法就是取对数，对概率的倒数取对数。而且这种方式也满足了当概率为1，信息量为0的条件。如果以10为底的话，那么发生概率为10^-6的事件信息量为6哈特，而发生概率为10^6的事件信息量为-6哈特。可以把2，e或者10作为底，那么信息量的单位分别为比特，奈特，哈特。

2.为什么是自信息量？

为什么把信息量称为自信息量？是因为这是事件本身具有的信息量。之后我们还会讨论互信息量，信息熵等概念。