信息熵公式

信息熵，我们起码知道这个东西和信息有关，而它又是数学模型里的概念，一般而言是可以量化的，那么第一个问题来了：信息熵是否可以量化？
起码直觉上是可以的，比如我们会觉得有些人“废话特别多”、“没什么信息量”、有些人“一语中的”、“一句话传达了很大的信息量”。

有些事情本来不是很确定，比如明天股票是涨还是跌，如果你和我说明天NBA决赛，这两者似乎没啥关系，所以你的信息对明天股票走势信息量很少。但是假如NBA决赛一开始，大家都不关注股票了，没人坐庄，股票有99%的概率会跌，那你这句话的信息量就大了，因为本来不确定的事变得十分确定。

而有些事情本来就很确定了，例如“太阳从东边升起”，你的话是丝毫没有信息量的，因为这件事情是确定的不能再确定的。

那么，不确定性和什么有关呢？
1.跟事情的可能结果的数量有关
2.跟概率有关

例如，小明不知道选择题ABCD是哪个选项时，小红告诉小明“D选项是错的”，提供了0.415 bits信息；再告诉小明“A选项时错的”，提供了0.585 bits信息；再告诉小明“B选项是错的”，提供了1 bit信息。明明每次告诉小明的都是一个错误选项，可三次提供给小明的信息量不一样？
问1：信息如何量化的？
问2：为什么信息还有单位？

例如我们讨论太阳从哪升起，本来就只有一个结果，那么无论谁传递任何信息，那么都是没有信息量的。当可能的结果数量比较大时，我们的新信息才有潜力拥有大信息量。

回想：质量、温度、速度等物理量有单位，信息也是一个物理量

既然信息消除的是不确定性，那么就选择另一个事件的不确定性作为参照事件，当想要测量其他事件的不确定性，就看待测事件的不确定性相当于“多少个”参照事件的不确定性，这里的“多少个”便是信息量。