信息熵

熵理解问对事物不确定性的一个度量，简单来说，就是熵越大，我们对他越不确定。如果一件事情是100%确定无疑的，那么我们认为这件事情的熵为0。所以：

1， 明天太阳会从东边升起。 这件事100%是真的，我们说熵为0.

2，明天太阳从西边升起。这件事情0%是真的，我们说熵为0.

（可以看出，熵是对不确定性的度量，而事情本身是真是假无关。）

既然是越不确定，熵越大，那么什么情况熵会最大？我们来看看抛硬币的事件：

1，我们有个质地均匀的硬币，抛硬币出现正面或者反面的概率是一样。

2，有个作弊的硬币，正面那么密度更大，所有抛硬币出现正面的概率要大于反面的硬币。

如果让你对上面2个硬币做预测，你觉得那个硬币更好猜结果。

显然，第二个更好猜，因为正面概率大，我们就可以直接猜测抛硬币结果就是正面。而第一种情况，一半一半的概率，猜那个都没把握。我们可以说第一种情况熵更大，更不确定。

可以看出，事件的各种可能结果，如果概率都一样，我们就认为这个事情最不确定，熵最大。

 

熵公式：