信息与不确定性

最近学习了吴军的《信息论40讲》，深有感触，有感而发！

本博文想要给你传递（或者说洗脑）两个主要观点：

“信息是可以量化的，用事件的不确定性表示”，

“增加相关信息，会减小其不确定性”。

咱们先搞清楚以下五个概念，他们是层层递进的。

1. 信息量
2. 信息熵
3. 交叉熵
4. 相对熵
5. 互信息

一、信息量

咱们一起来玩一玩Yes or No的游戏。随便你问什么都可以，但我的答案只有YES或者NO。

我随便抛出一枚硬币，并且把硬币双手合着，你猜朝上的那一面是什么？

如果你问我朝上的，是不是“中国人民银行”，我告诉你NO，那你就知道是什么了。也就是说，你只要获取1bit的信息就可以知道结果了，事件就是确定的了。

如果我摇色子，你想要知道朝上的数字，那你只问我一个问题就很难得到结果了，因为此时的不确定性增加了，1bit的信息hold不住了。

One more question，