信息论——信息的度量

信息的度量

　　　　信息具可度量性，其大小取决于信息所消除的不确定性

　　　　举例如下：

　　　　　　消息A：中国女子乒乓球队夺取亚运会冠军。

　　　　　　消息B：中国男子足球队夺取世界杯赛冠军。

　　　　　　从事件的描述上来看，其主题内容大致相同，那么我们是否可以认为事件A和事件B具有相同的信息量呢？显然是不行的。根据以往经验，我们可以认为事件A是一个大概率事件，所以事件A的不确定性比较小，故当事件A发生时，我们从这个消息中得到的信息（消除的不确定度）很小。同理对事件B而言，由于是个极小概率事件，我们得到的信息很大。由此我们可以推断：消息B的信息量大于消息A。

　

　　　　对于一个事件X，我们假设其不确定性为 I(p1) ，其中 p1 是事件X的先验概率。

　　　　对应于事件X的消息X所消除的不确定性为 I(p2)。

　　　　那么在我们获取了消息X之后，事件X的不确定性就变为了 I(p1)-I(p2) ，由此我们可以知道当我们对一个事物的信息获取的越多，其不确定性就越小，当其不确定性变为0时，该事件就被确定下来了，我们对其无法再获取更多的信息量了。

　　　　

　　　　直观定义：

　　　　　　收到某消息获取的信息量=不确定性减少量=收到该消息前后某事件的不确定性差

 

 

信息量的数学表示

　　　理论依据（信息量具有的性质）：

　　　　　　1.非负性 对于一个事件而言，当事件被完全确定时，即我们无法获取更多信息时，其信息量为0，因此无法比0更小。

　　　　　　2.单调性 是先验概率的单调递减函数，即某事件的发生概率越大，其信息量就越小。

　　　　　　3.对于事件A 若 P(a)=0 则 I(Pa)=+∞ 若 P(a)=1 则 I(Pa)=0。

　　　　　　4.两个独立事件的联合信息量应等于它们分别的信息量之和。

 

　　　　I(xi)具有两个含义：

　　　　　　1.事件发生前，表示该事件发生的不确定性。

　　　　　　2.事件发生后，表示该事件所提供的信息量。

 

术语解释

　　　　先验概率（prior probability）是指根据以往经验和分析得到的概率。

 

转载于:https://www.cnblogs.com/Hikigaya-Hachiman/p/10075333.html