【信息论与编码 沈连丰】第一章：信息科学及其发展

1.1 通信系统的基本概念

1. 通信的目的是传输信息，近代通信主要是电通信，通信系统的主要任务是借助电信号来传输消息。

2. 信息（Information）、消息（Message）、信号（Signal）：通信系统传输的是信号，信号是消息的载体，消息中的未知成分是信息。

3. 最简单的通信系统模型：其中有三个基本单元：信源、信道、信宿

   

   • 信源提供消息，消息是由符号、文字、数字、图像、语音等组成的序列。从消息的时间和幅度分布角度上看，信源可以分成离散信源（discrete source）和连续信源（continuous source）
   • 信道是传递信息的通道，生活中电缆、光纤等都是信道，从信道的性质或传送信号情况来看，可分成无干扰信道和有干扰信道、恒参信道和变参信道、离散信道和连续信道、单用户信道和多用户信道
   • 信宿是接收消息的对象

   通信系统需要解决的根据问题就是如何有效、可靠地将消息从信源通过信道传播到信宿！

   

   其中的**信源编码（压缩去冗余）和信道编码（加冗余抗噪声）**等是为了提高信息传输的有效性和可靠性。

1.2 信息科学的有关概念

1. 信息科学的创立是以信息论建立为标志的，信息论是以香农在1948年和1949年的两篇论文为基础的。

2. 信息论的一些最基本的问题：

   1. 什么是信息？如何度量？
   2. 在给定的信道中，信息传输有没有极限？
   3. 信息能否被压缩和恢复？极限条件是什么？
   4. 从实际环境中（如干扰、噪声）抽取信息，极限条件是什么？
   5. 在允许一定失真的条件下，信息能否被更大程度地压缩？极限条件是什么？
   6. 设计什么样的系统才能达到上述极限？
   7. 现实中，接近极限的设备是否存在？

   信息论的成功就在于对这些基本问题进行了明确的解答，分别形成了信息量、信道容量、熵、香农三个定理（可变长无失真信源编码定理，有噪信道编码定理，保失真度准则下的失真信道编码定理）和香农公式（信道容量）。

1.3 信息理论的研究内容

1. 信息论可以分成三类：狭义信息论（也称香农信息论）、一般信息论和广义信息论；狭义信息论主要总结了Shannon的研究成果，研究的是在收发端联合优化的问题，而重点在各种编码；一般信息论研究如何从噪声和干扰中接收信道传输的信号，包括两个方面问题，从噪声中判决有用信号是否出现和从噪声中去测量有用信号的参数；广义信息论研究包含所有与信息有关的领域。

1.4 香农信息论概述

1. 围绕信息的度量所展开的讨论：这是信息论建立的基础，给出了各种信息量和各种熵的概念。
2. 围绕无失真信源编码所展开的讨论：最主要的结论是Shannon第一定理以及各种信源编码的方法。
3. 围绕信道编码所展开的讨论：给出了信息传输速率、信道容量等概念，最主要的结论是Shannon第二定理，以及基于该定理的各种信道编码，如分组码、卷积码等。
4. 围绕带限信道传输信息的能力所展开的讨论：最主要的结论是信道容量公式，或称为Shannon公式。
5. 基于信息传输时允许一定程度的失真和差错（Error）所展开的讨论：由此得到信息率失真理论、Shannon第三定理、信息价值等。
6. 围绕通信网的发展带来的信息传输问题所展开的讨论；即网络信息理论。
7. 围绕通信的保密所展开的讨论。包括保密通信的技术体制及数学模型，传输线路保密技术的信息论基础，信息保密技术的基础知识以及保密通信的各种方法等。