信息论在通信系统中的应用

一、 概述

信息论是一门用数理统计方法来研究信息的度量、传递和变换规律的科学。它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。

自香农 (C．E．Shannom)提出信息理论以来，信息论已经成为通信理论中重要而又基础的 一 部分 。如今 ，通信中越来越多的使用光作为传输媒质以及光器件的快速发展 ，

图1.香农

信息论是研究信息的产生、获取、变换、传输、存贮、处理识别及利用的学科。信息论还研究信道的容量、消息的编码与调制的问题以及噪声与滤波的理论等方面的内容。信息论还研究语义信息、有效信息和模糊信息等方面的问题。信息论有狭义和广义之分。狭义信息论即申农早期的研究成果，它以编码理论为中心，主要研究信息系统模型、信息的度量、信息容量、编码理论及噪声理论等。广义信息论又称信息科学，主要研究以计算机处理为中心的信息处理的基本理论，包括评议、文字的处理、图像识别、学习理论及其各种应用。

他的成就轰动了世界，激起了人们对信息论的巨大热情，它向各门学科冲击，研究规模象浪雪球一样越来越大。不仅在电子学的其他领域，如计算机、自动控制等方面大显身手，而且遍及物理学、化学、生物学、心理学、医学、经济学、人类学、语音学、统计学、管理学……等学科。它已远远地突破了香衣本人所研究和意料的范畴，即从香农的所谓“狭义盾息论”发展到了“广义信息论”。

图2.信息论知识架构

二、信息论在光通信中的运用

2.1、信息论知识

香农从概率论得出平均信息量是发送端 (信源)的平均不确定度H(X)与接收端接到消息 Y后信源不确定度和量度（即由信道干扰而损失的信息量)H(X／Y)之差 。

也可表示为 ：

定义信道传输的平均信息量为信道的信道容量

无线电通信系统性能的基本限制因素是系统本身内部的噪声，电阻热噪声和散立噪声，它们都是平稳的随机过程 。一般情况 ，把即服从高斯分布而功率谱密度又是均匀分布的噪声称为高斯白噪声。电阻内的热噪声就是高斯白噪声。由高斯白噪声信道可推出香农公式：

其中Ps是信号的平均功率 ，N0W 为高斯白噪声在带宽W内的平均功率(其功率谱密度为 N0／2)，可见，信道容量与信噪比和带宽有关。当W趋于 ∞ 时 ，高斯噪声信道的信息量达到极限 ：

一些实际信道是非高斯信道 ，由香农公式得到的值是非高斯信道的信道容量的下限值 。

图3.光通信——光纤

2.2、光量子信道的信道容量

从信息论的角度可以认为光量子信道是信号和噪声叠加的加性信道。假设在频率fi时 ，输人信号产生的平均量子数为 xi，噪声产生的平均量子数为 ni可得，对于频率fi，输出信号的平均量子数为：

假设 xi与ni统 计独立 。设xi，ni，yi的概率 密度函数 为 P(xi)，P(ni)，P(yi)，且 P(yi／xi) =P(ni)在 特 定频率fi上，光量子信道 的平均互信息

因为固定时间间隔 △t，所以单位时间内的平均互信息

在fi上，假设接收信号的光量子的离散能谱为

由于热辐射，光量子的波动服从 Gibb分布

可得，光量子的波动引起的噪声熵

由(8)式，可得单位时内信号的半均能量

而输出信号的平均功率是

其中阿尔法是拉格朗日乘数 ，阿尔法 =kTe ， Te是有效温度。将式 (14)代人 式 (7)得输 出信号最大熵

将式 (14)代人 式 (13)，对f积分得

将式 (16)、式 (15) 和式 (10) 代人 式 (7)， 得光量子信道 的信道容量

三、信息论在信源编码中运用

3.1、香农第一定理(可变长无失真信源编码定理)

香农三大定理是信息论的基础理论。香农三大定理是存在性定理，虽然并没有提供具体的编码实现方法，但为通信信息的研究指明了方向。香农第一定理是可变长无失真信源编码定理，香农第二定理是有噪信道编码定理，香农第三定理是保失真度准则下的有失真信源编码定理。

香农第一定理：设离散无记忆信源X包含N个符号{x1,x2,…,xi,…,xN}，信源发出K重符号序列，则此信源可发出N^k个不同的符号序列消息，其中第j个符号序列消息的出现概率为PKj，其信源编码后所得的二进制代码组长度为Bj，代码组的平均长度B为：

B=PK1B1+PK2B2+…+PKN^kBNk

当K趋于无限大时，B和信息量H(X)之间的关系为B/k=H(X)(K趋近无穷）

香农第一定理又称为无失真信源编码定理或变长码信源编码定理。

香农第一定理的意义：将原始信源符号转化为新的码符号，使码符号尽量服从等概分布，从而每个码符号所携带的信息量达到最大，进而可以用尽量少的码符号传输信源信息。

接下来，我详细说一下香农第一定理的数学化表述：

考虑序列发送系统，其中的序列都是来自于X的n个字符。如果序列中的每一个字符都服从p（x）分布，也就是说，它们独立同分布。

那么：

其中Ln为每输入字符期望码字长度，因此，通过使用足够大的分组长度，可以获得一个编码，可以使其每字符期望码长任意地接近熵。

那么问题就来了，如果不是独立同分布怎么办，那岂不是凉凉？当然有解决办法，这个东西叫做熵率，而下面这个式子也是更具有普适的理论价值。

其中H（X1,X2,…,Xn）是联合熵。仔细观察该式子，你不会觉得很有意思吗？对于一个随机过程而言，它给出了最简洁描述该过程所需的每字符期望比特数。而随机过程，又恰恰可以建模很多现象和发展规律。也就是说，上式是一个具有普适价值的式子。

3.2、通信系统中编码方法

图4.通信系统一般模型

数据压缩的主要目的是力求用最少的数据表示信源所发出的信号，使信号占用的存储空间尽可能小，以达到提高信息传输速度的目的。数据压缩在近代信息处理问题中有大量的应用，无论在数据存储或传送中，通过数据压缩不仅可以大大节省资源利用的成本，而且把一些原来无实用意义的技术，如多媒体技术中的一些问题，达到具有实用意义的标准。

图5.哈夫曼编码

数据压缩作为信息论研究中的一项内容，主要是有关数据压缩比和各种编码方法的研究，即按某种方法对源数据流进行编码，使得经过编码的数据流比厡数据流占有较少的空间。其中基于符号频率统计的哈夫曼编码效率高，运算速度快，实现方式灵活，使得其在数据压缩领域得到了广泛的应用。不过，哈夫曼所得的编码长度只是对信息熵计算结果的一种近似，还无法真正逼近信息熵的极限。所以尽管哈夫曼编码具有良好的压缩性能，也一直占据重要的地位，还是不断有基于哈夫曼编码的改进算法提出。

四、参考文献：

[1]傅祖 芸 著 ．信 息论 基 础理 论 与 应 用 ． 电子 工 业 出版 社 ，2001 (8)

[2]陶纯堪 ，陶纯 匡著 ．光 学信 息 论．科学 出版 社 ， 1999 (3)

[3]朱 雪 龙 著． 应 用 信 息 论 基 础 ． 清 华 大 学 出 版 社 ，2001（3）

[4] Adner R, Levinthal D. Technology speciation and the path of emerging technologies[J]. Wharton on managing emerging technologies, 2000, 5574.

[5] Tushman M L, Anderson P. Technological discontinuities and organizational environments[J]. Administrative science quarterly, 1986: 439-465.

[6] 曹雪虹, 张宗橙. 信息论与编码[M]. 清华大学出版社有限公司, 2004.

[7] 周叶林. 科学研究中的信息论及其应用[J]. 今日南国 (理论创新版), 2009, 5: 118.

[8] 沈世镒, 吴忠华. 信息论基础与应用[M]. 高等教育出版社, 2004.

[9] 周荫清. 信息理论基础[M]. 北京航空航天大学出版社, 2006.