信息熵的概念

信息熵：信息的基本作用就是消除人们对事物的不确定性。多数粒子组合之后，在它似像非像的形态上押上有价值的数码，具体地说，这就是一个在博弈对局中现象信息的混乱。

香农指出，它的准确信息量应该是

-(p1*log(2,p1) + p2 * log(2,p2) +．．．+p32 *log(2,p32))，

信息熵图册

其中，p1，p2 ，．．．，p32 分别是这 32 个球队夺冠的概率。香农把它称为“信息熵” (Entropy)，一般用符号 H 表示，单位是比特。

转自：http://www.baike.com/wiki/%E4%BF%A1%E6%81%AF%E7%86%B5