信息及信号量之信息量的推导过程

对此先让我们看一下官方的定义：

信息： 信息是对客观世界中各种事物的运动状态和变化的反映，是客观事物之间相互联系和相互作用的表征，表现的是客观事物运动状态和变化的实质内容。

信息量：对信息计量的一种量度
计算公式为：

Xi —— 表示第i个状态（总共有n种状态）；
P(Xi）——表示第i个状态出现的概率；
F(X）——表示用以消除这个事物的不确定性所需要的信息量。

笔者起初也是云里雾里的，为啥会这个公式来作为信息的度量。其实对于通信系统而言，它传递了多少信息，是通过普遍规律用概率论与数理统计以及极限的思想来表现出来的，是有科学依据的。 日常生活中呢，极少发生的事件一旦发生是容易引起人们关注的，而司空见惯的事不会引起注意，也就是说，极少见的事件所带来的信息量多。如果用统计学的术语来描述，就是出现概率小的事件信息量多。因此，事件出现得概率越小，信息量愈大。即信息量的多少是与事件发生频繁（即概率大小）成反比。比如有人告诉你今年的冬天会很热，就比去年冬天很冷的信息量要大，因为冬天会很热违反了常识，也越不可能实现。

由上我们可以得出以下的数学关系：
（1）消息中所含的信息量I是出现消息n的概率p（n）的函数，即I=I[p(n)]且0≤p(n)≤1;
（2）消息出现的概率越小，它所含的信息量越大，反之越小，且当p(n)=1时，I=0；
（3）若干个相互独立事件所构成的消息所含的信息量等于各独立时间信息量的总和
I[P(n1)P(n2)]…=I[P(n1)]+I[P(n2)]+…
不妨假设信息量是概率x的减函数，其中0≤x≤1，则f(1)＝0，f(0)＝＋∞
独立事件的信息量等于f（x1x2…)=f(x1)+f(x2)+…

而香农给它定义为了-1（其实笔者认为定义多少都行，反正只要是一种统一的计量方式就行）信息量 F(Xi) 可以用概率论与数理统计和极限的思想推出，是不是很神奇！