数学之美--信息的度量和作用--信息熵，条件熵和交叉熵

保留初心，砥砺前行

这一章节讲解的是关于信息的某些度量。

我们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。……直到1948年，Shannon在他著名的论文“通信的数学原理”中提出了“信息熵”的概念，才解决了信息的度量问题，并且量化出信息的作用。

• 信息熵

  首先，我们可以记住的是，信息熵一般使用符号H来表示，单位是比特。接下来，看一个书中给出的例子：
  当我错过了上一届世界杯的比赛，而想知道谁夺得冠军时，我询问一个知道比赛结果的观众。但是他并不愿意直接告诉我，而是让我猜测，每猜一次他要收费1元来告诉我，我的猜测是否正确。那么我要花多少钱才能知道谁是冠军呢？
  我可以把球队编号，1到32号（当然大家都知道世界杯是32支球队，然而过几年变成48支的时候我会回来修改的）然后我提问：“是在1到16号中吗？”。如果他告诉我猜对了，我会继续问：“是在1到8号中吗？”。这种询问方式大家都懂，因此这样询问下去，只需要5次，也就是只需要5元钱就可以知道哪支球队是冠军。

  因此，世界杯冠军这条消息的信息量可以看做是5元钱。
  我们回到数学上的问题，使用比特来代替钱的概念（计算机中，一个比特是一位二进制数，一个字节就是8个比特），这条信息的信息量是5比特。如果有64支队伍，就要多猜一次，也就是6比特。

  log_2<