信息熵 和 算法时间复杂度

 本文仅仅是我个人的理解，发现错误请告诉我一下。

 

前几天虽然看完了吴军先生的《数学之美》，但一直搞不懂信息熵所以连带着也没搞懂 最大熵的原理，直到今天白天看了TopLanguage的一个讨论信息论的帖子

再经过晚上散步时思考才顿悟信息熵的意义。

 

信息是个很抽象的概念。人们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。比如一本五十万字的中文书到底有多少信息量。直到1948年，香农提出了“信息熵”的概念，才解决了对信息的量化度量问题。（摘自百度百科）

 

一条信息的信息量大小和它的不确定性有直接的关系。比如说，我们要搞清楚一件非常非常不确定的事，或是我们一无所知的事情，就需要了解大量的信息。相反，如果我们对某件事已经有了较多的了解，我们不需要太多的信息就能把它搞清楚。所以，从这个角度，我们可以认为，信息量的度量就等于不确定性的多少。（摘自数学之美）

 

香浓指出的信息熵的计算公式如下（本文的对数一律以2为准）

H(x) = -∑p(xi)log(p(xi)) (i=1,2,..n)    （其中p(x)是x事件出现的概率）单位为bit

 

在数学之美里是用赛后怎么知道32个球队里谁是冠军来讲解了这个信息熵的概念。

当概率相等时，每次询问用折半查找的原理（如“冠军队伍在1-16吗？”）可以减少一半的队伍，这样