信息熵—衡量系统所携带信息的统计量

信息熵是一种用来衡量信息量多少的统计量，我们经常可以通过熵的变化来观察系统的变化，因此在物理、化学、计算机学和数学等各个领域看到他的身影。

这有点儿像你在炖一碗浓汤，根据菜谱加入了各种食材和调味品后，总需要尝一尝味道。感觉咸了就加点儿糖，感觉淡了就加点儿盐，不咸不淡时就刚刚好，而怎么调都不对味就只好倒掉重做啦。

由此可见，了解了信息熵，很多算法都会变得很好理解。今天我们就试着说一下，到底熵是个什么东西呢？

1信息熵

从定义上说，信息熵是一个数学期望，衡量的是一个系统中可携带的信息量的大小。

换一个直观的角度说，当我们遇到一个随机事件时，我们需要知道多少信息（注意，这里的信息是可以计算的，单位一般是bit，就是比特币的那个比特）才能断定这个事件到底会不会发生。

下面，我们不管三七二十一的先给出其公式如下：

关于公式的解释网上有很多栗子，我们结合自己的理解，整理出了两个比较好理解的。

解释一

小明很喜欢玩游戏，即使上课也不能自拔。爸爸被老师约谈后决定惩罚小明，于是想了一个以德服人的办法。爸爸拿来一个箱子，跟小明说：我们来玩个游戏。

题目1：这里面有橙、紫、蓝、青四种颜色的小球，个数相同（即每种各占1/4），现在我从中拿出一个小球，你要猜我手中的小球的颜色。每局游戏你可以提任意多个问题，但是只能猜一次。

这个游戏我会跟你玩10局，每局里你每提一个问题就一个星期不能玩游戏，但是如果你猜错一次或者放弃游戏，我就会直接把你送去孤儿院，再也没有机会继承每分钟几千万收入的商业帝国！所以你要保证每次有100%的把握时再猜哦！

10局结束后，我会计算平均每局提了多少问题作为惩罚标准，现在开始！

小明虽然感受到了来自爸爸深深的恶意，但还是认真思考了一下。小明是王者段位的强者，立刻想到了最优的策略去提问。

假设爸爸拿着的球为一个随机事件X，那么这时的小明只要提2个问题就一定能到答案。怎么提问？请看下图：

如果球X=橙色，小明只需要提问2次（是橙或紫色吗？答案是的；是橙色吗？答案是的，游戏结束）。