【对话通信原理】第2章想不到的价值——信息

最新推荐文章于 2023-11-09 19:23:06 发布

今岁成蹊

最新推荐文章于 2023-11-09 19:23:06 发布

阅读量697

点赞数

分类专栏：通信文章标签：通信信息

本文链接：https://blog.csdn.net/HPP_CSDN/article/details/118530559

版权

通信专栏收录该内容

5 篇文章 6 订阅

订阅专栏

信息

通常，将人能够感知的描述称为消息。人的感觉器官包括眼睛、耳朵、鼻子、舌头、皮肤等。具体一点，就将声音、文字或者图像理解为消息。

人的听力和视力是有限的，如果不借助别的办法，声音、文件和图像等这些消息，是不能远距离直接传送的。要想将消息传到远处，过去靠烽火接力、邮递等，现在就将消息转换为能够远距离传输的电信号或光信号。

信息不等于信号，也不等于消息。信息可以理解为消息中包含的有意义的内容。
同样的信息可以用文字描述，也可以用图画来表达，所以有人也说消息是信息的载体。

消息中所含信息量的多少，不是有消息的多少来决定的，而是与该消息发生的概率密切相关。
消息发生的概率越小，信息量就越大。理论上是用概率来描述这种不确定现象的，这也是通信系统中真正有用的东西。
一个消息越不可预测，它所含的信息量就越大。

废话有多少信息量

信息有以下几个特点：

消息 $x$ 发生的概率 $P (x)$ 越大，信息量 $I$ 越小；反之，发生的概率 $P (x)$ 越小，信息量就越大。可见，信息量和消息发生的概率是相反的关系。
当概率为 1 时，百分百发生的事，地球人都知道，所以信息量为 0。
当一个消息是由多个独立的小消息组成时，那么这个消息所含信息量应等于各小消息所含信息量的和，用关系式来表示就是 $I [P (x 1) P (x 2) . . .] = I [P (x 1)] + I [P (x 2)] + . . .$ 。

对数函数能满足以上的 3 个特点。所以，信息量的定义公式是：
$I = -\log_a (P(x))$

信息量的单位是由对数底的取值决定的。若对数以 2 为底，信息量的单位被称为比特 (bit)。通常选用以 2 为底来表示，因为一个二进制波形的信息量恰好等于 1 bit。

由于二进制信号的每个波形 (码元) 恰好有 1 bit 的信息量，因而工程上干脆混淆了信息和信号的单位，常常将二进制信号的单位也用比特来表示，如说每秒传输多少个比特的信号等，将信息从无形变为有形。一个 IP 数据包除了有数据比特，还有控制比特，而控制比特对于通信双方都是知道的，因而用信息的观点看，这不是信息，而是开销。

香农 (Shannon) 和信息论

香农的主要贡献，在于 1948 年发表了一篇题为《通信的数学理论》的学术论文。这篇划时代论文的问世，宣告了信息论的诞生。1949 年，他又发表了《噪声中的通信》论文，从而奠定了信息论的基础。信息论不仅在方法论的层面上解决了通信的有效性和可靠性问题，而且在认识论的层面上帮助认识事物的本质。

香农首先采用严密的数学方法，对信源、信息、信息量、信道、编码、解码、传输、接收、滤波等一系列基本概念进行严格的数学描述和定量度量，使得信息研究由粗糙的定性分析阶段进入精密的定量阶段，并因此而发展成一门真正的科学学科。

香农对信息论的又一贡献，是对信道最大容量的描述和研究。他提出的一个结论是：在没有噪声干扰的情况下，符号传输的平均速率有一个上限，它可以逼近，但不能超越。信道容量是指每秒在信道中可通过 C 个单位，今有每秒输出 H 个单位的信源，香农指出：当 C > H 时，传输误差可以变得很小；当 C < H 时，误差就难以控制了。

1959年香农发表的论文提出了保真度准则下的离散信源编码定理，以后发展成“信息率失真论”，成为频带压缩和数据压缩的理论基础。