信息熵越大，信息量到底是越大还是越小？

作者：钱彦波
链接：https://www.zhihu.com/question/274997106/answer/1055696026
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
 

下面我举一个例子给大家来直观的理解一下什么是信息熵和信息量。

首先我们需要想一下的我们应该怎么样去度量一个属性，比如质量我们用的是kG，长度我们用的是m,但是如果我们问你什么是1kg的时候，其实你会很迷茫，因为确实不知道什么样才是1kg。其实不是说这个世界上原本就存在1kg，而是我们为了方便，比如规定了某一块石头的质量是1kg，而我们在度量其他物理质量的时候，就以这块石头为标准，比如一张桌子的质量等于30块这样石头的质量，所以我们就说这张桌子的质量我30kg。

同样的对于不确定性的度量也一样，我们必须定义一个标准，从而对不确定性进行度量。那么这个不确定性怎么去定义呢？最简单的，我们抛一枚硬币，其可能产生两种情况（一种正面，一面反面），如果我们把抛一枚硬币产生等概率的两种情况确定为不确定性的一个基本度量单位，那么我们就可以对其他的不确定性加以度量。比如小明在做选择题的时候面临A,B,C,D四种情况，那么这相当于抛了两次硬币，相同的如果我们面临8种不确定性，那么我们就相当于抛了3次硬币。这个时候我们会发现，如果在一次事件中可能出现n种情况，那么就相当于抛了以2为底n的对数次硬币，即 次。现在我们把抛一枚硬币产生两种等概率的情况的不确定性定义为1bit,那么做选择题目时候的不确定性就是2bit，以此类推。

但是现在又会产生一个问题，那就是对于有的情况下，比如有人告诉小明A,B,C,D中选择A的概率为1/2，那这个时候概率发生了变化怎么办呢？这种非等概率的情况下不确定性又该怎么度量呢？我们可以这么想，对于概率为1/2的等概率事件而言，其可能产生的是2种等概率情况，相当于抛一枚硬币；对于概率为1/6的等概率事件而言，其可能产生的情况是6种等概率情况，相当于抛了 次硬币。所以把每个可能概率取倒数就得到了可能产生几种等概率情况，就可以用等概率的情况来计算了，最后再对得到的结果求期望，就可以得到最终的对不确定性的度量，即信息熵。在例子中当有人告诉小明选A的概率为1/2后，小明做这个选择题面临的不确定性就等于

 =1.792bit,所以在这个例子中，有人告诉了小明A的概率为1/2的信息量就是2-1.792 = 0.208bit.

当然这里还有其他的信息量的单位，比如以自然对数e为底或者是以10为底，得到的单位也不同，分别是nat和Hart，但是理解都是一样的。

所以信息熵本身不是衡量信息量的，而是对某一事件的不确定性的衡量，信息量的输入导致熵减少，才是对信息量的衡量。大家谨记呀。