信息论基础——消息，信息，信号区别 && 信息的度量

一、基础介绍

1.1 基本概念

物质、能量和信息是构成客观世界的三要素

1.2 消息、信息、信号的区别

消息的定义：是指包含信息的语言，文字和图像等，可表达客观事物和主观思维活动的状态
信号：是把消息变换成电信号，声信号等适合信道传输的物理量

那什么是信息呢?
1）指事物中包含的内容
2）是事物在运动状态或存在形式上的不确定性的描述（即不确定性越大，信息越多）

信息与消息的关系是什么？
消息是信息的载体，包含关系

消息与信号的联系是什么？
信号是把消息转换成电信号等，然后在信道上面传输，所以信号是消息的运载工具。

1.3 信息论主要研究对象

1.4 香农信息定义

1）信息：是事物运动状态或存在形式的不确定性的描述。同学系统中接受信息的过程就是消除不确定性。
2）过程：不确定的清除就获得了信息，信息量与不确定性的程度有关
3）信息的度量：信息熵

二、信息的度量

2.1.1 自信息

2.1.2 互信息

2.2 平均自信息（信息熵，信源熵，熵）

2.3 条件熵、联合熵

都是在联合概率空间下进行计算

2.4 平均互信息

2.6 各种熵之间的关系