信息熵:一条信息的信息量和其不确定性有着直接的关系,比如我们想弄清楚一个非常不确定的事需要大量的信息,可以认为信息量就是不确定性的多少。
比如错过了世界杯,想要猜32个球队哪只是冠军,可以先问是1-16吗,假如猜对了,可以继续问1-8吗,这样就需要五次就可以知道哪个球队是冠军,所以谁是冠军这个信息就是5.
有些人发现可能不需要五次就能猜出来谁是冠军,因为有些球队夺冠的可能性更大一些,因此猜的时候可以把大概率赢的球队分在一边,这样猜测也许三到四次就可以猜出来。当每支球队夺冠的可能性不等时,谁是冠军的信息量比5少,香农指出,它的准确信息量应该是,其中p1,p2...p32是这些球队夺冠的概率,香农把它称为信息熵。
来自《数学之美》