信息量
香农他老人家作为一个旷世天才,研究出了信息论这一对后世产生了巨大影响的理论,而这一理论的基础概念就是信息量。
“信息是用来消除随机不确定性的东西”。也就是说衡量信息量大小就看这个信息消除不确定性的程度。
“太阳从东方升起了”这条信息没有减少不确定性。因为太阳肯定从东面升起。这是句废话,信息量为0。
“吐鲁番下中雨了”(吐鲁番年平均降水量日仅6天)这条信息比较有价值,为什么呢,因为按统计来看吐鲁番明天不下雨的概率为98%(1-6/300),对于吐鲁番下不下雨这件事,首先它是随机不去确定的,这条信息直接否定了发生概率为98%的事件------不下雨,把非常大概率的事情(不下雨)否定了,即消除不确定性的程度很大,所以这条信息的信息量比较大。这条信息的情形发生概率仅为2%但是它的信息量去很大,上面太阳从东方升起的发生概率很大为1,但信息量确很小。
这里还可以举一个例子;比如最近NBA发生的浓眉加入湖人队这一事件,其原来发生的概率特别小,那么如果其发生了,那么带来的信息量就会特别大(我们现在也有所感受,其带来的信息量太大了),与其相似的还有周琦拿到MVP、太阳获得总冠军等事件,那么与之相对应的就是诸如詹姆斯拿到场均25+6,勇士获得总冠军等概率极大的事件,其信息量就很小。
从上面几个例子可以看出:信息量的大小和事件发生的概率成反比。
信息量的表示:
信息熵
在高中学化学的时候我们学过熵的概念,熵用来表示一个系统内的混乱程度,放到概率中可以理解为表示一个事件发生各种情况下的确定性,定义为:
信息量度量的是一个具体事件发生了所带来的信息,而熵则是在结果出来之前对可能产生的信息量的期望——考虑该随机变量的所有可能取值,即所有可能发生事件所带来的信息量的期望。即: