【信息论基础第一讲】信息路基础绪论——信息的概念，信息量和信息熵，数字通信系统模型

1.、信息的定义：事物运动状态或存在方式的不确定状态（from Shannon）

2、信息是有大小之分的。

3、信息量（自信息）的计算如下：

4、我们使用信息熵（information entropy）这一概念来描述 信息的平均不确定度：

（1）例1：对于一个信源的输出有x1~x8，对应的码字输出分别为000,001,010,011,100,101,110,111，消息的先验概率均为1/8，，收到符号0，接收端获得的信息量为（1）bit。

（2）例2：伪币称重问题：24个硬币中有一个重量偏轻，其他23个为标准质量。在不用砝码的天平上至少称几次，一定能发现这个轻的硬币？

5、信息论研究的目的

寻找信息传输过程中的共同规律，以提高信息传输的可靠性、有效性、保密性和认证性，使达到信息传输系统最优化。 追求可靠性对应的是信源编码，追求有效性对应的是信道编码，追求保密性对应的是加密密钥。

6、数字通信系统模型