保留初心,砥砺前行
这一章节讲解的是关于信息的某些度量。
我们常常说信息很多,或者信息较少,但却很难说清楚信息到底有多少。……直到1948年,Shannon在他著名的论文“通信的数学原理”中提出了“信息熵”的概念,才解决了信息的度量问题,并且量化出信息的作用。
信息熵
首先,我们可以记住的是,信息熵一般使用符号H来表示,单位是比特。接下来,看一个书中给出的例子:
当我错过了上一届世界杯的比赛,而想知道谁夺得冠军时,我询问一个知道比赛结果的观众。但是他并不愿意直接告诉我,而是让我猜测,每猜一次他要收费1元来告诉我,我的猜测是否正确。那么我要花多少钱才能知道谁是冠军呢?
我可以把球队编号,1到32号(当然大家都知道世界杯是32支球队,然而过几年变成48支的时候我会回来修改的)然后我提问:“是在1到16号中吗?”。如果他告诉我猜对了,我会继续问:“是在1到8号中吗?”。这种询问方式大家都懂,因此这样询问下去,只需要5次,也就是只需要5元钱就可以知道哪支球队是冠军。因此,世界杯冠军这条消息的信息量可以看做是5元钱。
我们回到数学上的问题,使用比特来代替钱的概念(计算机中,一个比特是一位二进制数,一个字节就是8个比特),这条信息的信息量是5比特。如果有64支队伍,就要多猜一次,也就是6比特。log2<