信息论复习笔记

信息论复习笔记（一）

1.1信息的概念
信息与消息和信号的区别（通信中，信息表达的三个层次）
消息：消息用文字、符号、数据、语言、音符、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来。
消息是信息的载荷者，是信息的数学表达层。
信号：把消息变换成适合信道传输的物理量，这种物理量称为信号，如电信号，光信号，声音信号等。
信号是信息的物理表达层，是三个层次中最具体的层次。

信息传输系统模型
研究目的：它的主要目的是提高信息系统的可靠性、有效性和安全性以便达到系统最优化。

第二章 离散信源及信息测度
第一节 信源的数学模型及分类
1、信源输出的消息用随机变量描述
简单离散信源：输出是单个符号的消息符号集，是有限的或可数的，用一维离散型随机变量X来描述。