信息论与编码————1.1信息的定义

一、信息的定义

1、信息：通讯系统的信息、信号和消息

通信的基本问题：在一点精确或近似地恢复另一点所选择的信息

通信的目的：消除不确定性，获得信息

2、消息：能被人的感觉器官所感知（消息中包含信息，是信息的载体，是具体的）

3、信号：信道传输的物理量（信号携带消息，是消息的运载工具，可测量、可显示、可描述）

香农信息：事物运动状态和存在方式的不确定性描述

通信过程是一种消除或部分消除不确定性的工程

1.信息在被接收前具有未知性，不确定性
2.信息通过通信系统之后，不确定性被完全消除或部分消除

不确定性（信息量）的定性和定量描述

1、定性描述：事先猜测某随机事件是否发生的难易程度

例：一夜暴富：概率极低，很难猜到，信息量大；

学习会很难：概率很高，容易猜到，信息量较小；

信息论要用到数学：必然事件，信息量为0；

2、定量描述是随机事件所发生所提供的信息量

不可能事件的概率为0，信息量无穷大；

必然事件的概率是1，信息量为0；

随机事件概率与自信息成负相关：

二、信息论的研究对象和目的

通信的实质：形式上传输消息，实质上传输信息

信源：产生消息和消息序列的愿

编码器：将消息转化为适合信道传输的物理量

信道：传输、存储信号的媒介

译码器：对信号进行反变换

信宿：消息传递的对象

三、概率论知识回顾

1、利用矩阵表示概率分布

（1）一维矩阵

（2）联合概率分布和边沿概率分布

（3）条件概率分布

三者关系

常用概率公式