最近学习了吴军的《信息论40讲》,深有感触,有感而发!
本博文想要给你传递(或者说洗脑)两个主要观点:
“信息是可以量化的,用事件的不确定性表示”,
“增加相关信息,会减小其不确定性”。
咱们先搞清楚以下五个概念,他们是层层递进的。
- 信息量
- 信息熵
- 交叉熵
- 相对熵
- 互信息
一、信息量
咱们一起来玩一玩Yes or No的游戏。随便你问什么都可以,但我的答案只有YES或者NO。
我随便抛出一枚硬币,并且把硬币双手合着,你猜朝上的那一面是什么?
如果你问我朝上的,是不是“中国人民银行”,我告诉你NO,那你就知道是什么了。也就是说,你只要获取1bit的信息就可以知道结果了,事件就是确定的了。
如果我摇色子,你想要知道朝上的数字,那你只问我一个问题就很难得到结果了,因为此时的不确定性增加了,1bit的信息hold不住了。
One more question,