信息熵的理解

信息熵即确定一件不确定的事情的信息量的大小。

问题：比如世界杯比赛，总共32只球队，如果让你猜哪只球队夺冠需要猜多少次？

解答：假设每支队伍夺冠概率相同，则可以根据二分查找，需要5次，其用信息熵计算便是下面的公式：

-1/32 *(log(1/32))=5;

假设概率不同，则必须按照下面的公式计算，数学系的应该可以证明一下，下面的结果总是小于5的。

结论：夺冠概率一样，说明夺冠这件事不确定性很大，相应的信息熵比较大；而概率不同，则可以说明概率高的可能性比较高，相应的信息熵比较小。

不确定性越大------------》熵越大；

不确定性越小------------》熵越小。