信息论基础（学习笔记整理）

信源：产生消息或消息序列的来源。
信宿：消息传送的终点(人或机器)。
信道：信号由发送端传输到接收端的媒介。

通信系统理论模型

如何提高信息系统的可靠性、有效性、保密性、认证性

信息论是将通信技术、概率论、随机过程、数理统计等学科相结合逐步发展而形成的一门新兴科学。

奠基人：美国数学家香农 (C. E. Shannon)，1948年发表了著名的论文 “通信的数学理论” ，为信息论奠定了理论基础。

半个世纪以来，以通信理论为核心的经典信息论，以“信息技术”为物化手段向高精尖方向发展，神奇般的把人类推向信息时代，已经超越了狭义的通信工程的范畴，进入了信息科学这一更广阔、更新兴的领域。

在香农信息论的指导下，人们在信源编码和信道编码两个领域进行了卓有成效的研究，在提高通信系统信息传输的有效性和可靠性上取得了丰硕成果。

作为科学术语，最早是哈特莱(R. V. Hartley)在1928年发表的《信息传输》一文中提出：“发信者所发出的信息，就是他在通信符号表中选择符号的具体方式”。定义不涉及到信息的价值和具体内容，只考虑选择的方式，但没有考虑各种可能选择方法的统计特性。
1948年，维纳 (N. Wiener)首次将信息与物质、能量相提并论。信息就是信息，不是物质也不是能量。将“信息”上升到“最基本概念”的位置。
从维纳的观点，物质、能量和信息是相互有区别的，是人类社会赖以生存、发展的三大基础：世界由物质组成，能量是一切物质运动的动力，信息是人类了解自然及人类社会的凭据。

信息的一般概念

信息是信息论中最基本、最重要的概念，既抽象又复杂。而在日常生活中，信息常常被认为是“消息”、“知识”、“情报”等。

“信息”不同于情报

情报是人们对于某个特定对象所见、所闻、所理解而产生的知识，其含义比“信息”窄的多。情报 (intelligence) 与信息(information) 有着严格的区别，情报是指经过慎密分析得到的特殊的信息，可作为决策的依据，它只是一类特定的信息，不是信息的全体。

“信息”不同于知识

知识是人们根据需要，从自然界收集得来的数据中提取得到的有价值的信息，它们是对客观事物规律性的概括，是一种具有普遍性和概括性的高层次的信息。

信息的一般概念

区分消息、信号、信息

消息

信号

信息

信息、消息和信号

1. 消息是信息的载体，不同的消息可以包含相同的信息。同一信息，可以采用不同的消息形式(比如文字、语言、图象等)来载荷。例如球赛进展情况可用电视图像、广播语言、报纸文字等不同消息来表述。
2. 信号携带着消息，它是消息的运载工具。同一信号形式，比如“0”与“1”，可以表达不同形式的信息，如无与有、断与通、低与高(电平)等等。
3. 信息是由具体的物理信号、数学描述的消息的内涵。可理解为消息中包含的有意义的内容。

信息量化

香农信息定义：

信息是事物运动状态或存在方式的不确定性的描述。

分析

通信的过程是传输消息，消息的传递过程具有不确定性：
收信者在收到消息之前，并不知道消息的具体内容；
收信者在收到消息之后，由于干扰的存在，并不一定能确定所收到的消息是否正确与可靠。

通信过程是一种消除上述不确定性的过程。

原先的不确定性全部被消除了，就获得了全部的信息；若原先的不确定性没有任何消除，就没有获得任何信息。

如果不确定性的大小能够度量，那么信息也是可以测度的。

概率越小——不确定性越大——信息量大

通信系统的模型——信息论的研究对象

1. 各种通信系统的本质都是信息传输系统。将他们具有共同特性的部分抽取出来，概括成一个统一的理论模型，通常称为通信系统模型。
2. 通信系统模型正是信息论的研究对象。通过对系统中消息的传输和处理来研究信息传输和处理过程的共同规律，以提高信息传输的可靠性、有效性、保密性和认证性。

编码器

把消息变换成信号

信源编码器

将信源的输出进行适当的变换，以提高信息传输的有效性。

信道编码器

对信源编码器的输出进行变换，用增加冗余度的方法提高信道的抗干扰能力，以提高信息传输的可靠性。

信道

信号由发送端传输到接收端的媒介。典型的传输信道有明线、电缆、高频无线信道、微波通道和光纤通道等；典型的存储媒介有磁芯、磁鼓、磁盘、磁带等。

干扰源

对传输信道或存储媒介构成干扰的来源的总称。干扰或噪声往往具有随机性，所以信道的特征也可以用概率空间来描述；而噪声源的统计特性又是划分信道的依据。

加性干扰：它是由外界原因产生的随机干扰，它与信道中传送的信号的统计特性无关，因而信道的输出是输入和干扰的叠加；

乘性干扰：信道的输出信号可看成输入信号和一个时变参量相乘的结果。

调制器

将信道编码器输出的数字序列变换为振幅、频率或相位受到调制控制的形式，以适合在信道中进行较长距离的传输。

解调器

从载波中提取信号，是调制的逆过程。

信道译码器

利用信道编码时所提供的冗余度，检查或纠正数字序列中的错误。

信源译码器

把经过信道译码器核对过的信息序列转换成适合接收者接收的信息形式。转换过程与信源编码方式相关。

通信的结果

通信的结果是消除或部分消除传递过程中的不确定性，从而获得准确的信息。

数学期望

在概率论和统计学中，数学期望(mean)(或均值，亦简称期望)是试验中每次可能结果的概率乘以其结果的总和，是最基本的数学特征之一。它反映随机变量平均取值的大小。

E[码元]=1×1/2 +2×1/4 +3×1/8×2=1+3/4

信息论研究目的

找到信息传输过程的共同规律，提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统的最优化。

可靠性

使信源发出的消息经过信道传输以后，尽可能准确地、不失真地再现于接收端。

有效性

用尽可能短的时间和尽可能少的设备来传送一定数量的信息。

保密性

隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。

认证性

接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。

研究内容

狭义信息论

(经典信息论)：主要研究信息的测度、信道容量、信源编码和信道编码等问题。这部分内容是信息论的基础理论，又称为香农信息论。

一般信息论

(工程信息论)： 主要研究信息传输和处理问题，除了香农理论外，还包括编码理论、噪声理论、信号滤波和预测、统计检测和估计理论、调制理论、信息处理理论、保密理论等。

广义信息论

是现代信息科学理论，它是一门新兴的综合性学科，不仅包括上述两方面的内容，而且包括所有与信息有关的领域，如模式识别、计算机翻译、心理学、遗传学、生物学、神经生理学、语言学、语义学等，甚至包括了社会、人文、经济等学科中有关信息的问题。

本课程主要研究香农信息理论。

信息的度量(测度)

样本空间、概率空间 、先验概率 、后验概率 、自信息 、互信息等。

样本空间

某事物所有可能选择的消息的集合(即该事物所有可能出现的不同状态)构成该事物的样本空间。每个可能选择的消息(或称一个事件)是这个空间的一个元素。

概率测度

对于一个离散的消息空间，为其中每一个可能选择的消息指定一个概率，构成这个样本空间的一个概率测度。

概率空间

一个样本空间和它的概率测度称为一个概率空间。
一个样本空间 X={a1, a2, …, aq} 和它的概率测度P(X)={P(a1), P(a2), …, P(aq)}统称为一个概率空间，可用 [X, P] 来表示：

先验概率

选择符号 ai 作为消息的概率 P(ai) 称为先验概率。

后验概率

接收端收到的消息(符号)为 bj ，而发送端发的是 ai 的概率 P(ai | bj) 称为后验概率。后验概率反映了在接收端收到的消息(符号)为 bj 后，对于发送端发送的是 ai ，尚存在不确定性。类似地，这种不确定性描述为：

自信息

在接收端，选择 ai 作为消息(猜测事件 ai 发生)的不确定性(与 ai 作为消息的先验概率成反比)，表示为 ：

称为 ai 的自信息。自信息描述了 ai 本身携带的信息量，与接收端无关。

互信息

收信者收到消息(符号) bj 后，将事件 ai 先验的不确定性(自信息)减去尚存在的不确定性定义为互信息：

互信息被认为是此时收信者获得的信息量。

离散信源及信息熵

离散信源

信源输出的消息用随机矢量描述
信源输出的消息用随机过程描述