一、信息的定义
1、信息:通讯系统的信息、信号和消息
通信的基本问题:在一点精确或近似地恢复另一点所选择的信息
通信的目的:消除不确定性,获得信息
2、消息:能被人的感觉器官所感知(消息中包含信息,是信息的载体,是具体的)
3、信号:信道传输的物理量(信号携带消息,是消息的运载工具,可测量、可显示、可描述)
香农信息:事物运动状态和存在方式的不确定性描述
通信过程是一种消除或部分消除不确定性的工程
1.信息在被接收前具有未知性,不确定性
2.信息通过通信系统之后,不确定性被完全消除或部分消除
不确定性(信息量)的定性和定量描述
1、定性描述:事先猜测某随机事件是否发生的难易程度
例:一夜暴富:概率极低,很难猜到,信息量大;
学习会很难:概率很高,容易猜到,信息量较小;
信息论要用到数学:必然事件,信息量为0;
2、定量描述是随机事件所发生所提供的信息量
不可能事件的概率为0,信息量无穷大;
必然事件的概率是1,信息量为0;
随机事件概率与自信息成负相关:
二、信息论的研究对象和目的
通信的实质:形式上传输消息,实质上传输信息
信源:产生消息和消息序列的愿
编码器:将消息转化为适合信道传输的物理量
信道:传输、存储信号的媒介
译码器:对信号进行反变换
信宿:消息传递的对象
三、概率论知识回顾
1、利用矩阵表示概率分布
(1)一维矩阵
(2)联合概率分布和边沿概率分布
(3)条件概率分布
三者关系
常用概率公式