香农信息论的基本理论探究

摘要：信息是自从人类出现以来就存在于这个世界上了，天地万物，飞禽走兽，以及人类的生存方式都离不开信息的产生和传播。人类每时每刻都在不停的接受信息，传播信息，以及利用信息。从原来的西汉时期的造纸，到近代西方的印刷术，以及现在的计算机，信息技术在人类历史的进程当中随着生产力的进步而发展。而信息理论的提出却远远落后于信息的出现，它是在近代才被提出来而形成一套完整的理论体系。信息论的主要基本理论包括：信息的定义和度量；各类离散信源和连续信源的信息熵；有记忆、无记忆离散和连续信道的信道容量；无失真信源编码定理。
关键字： 平均自信息 信道容量 信源编码 霍夫曼码

Abstract：Since the human being come out, the information has been existence in the world. The universe, birds and beasts, and the live style of the mankind all can’t live out of the production and transmission of the information. The human being receives the massage, transmits the information and uses the information all the time. From the papermaking in the Western Han Dynasty to the printing of the west, and the computer now, the information technology in human history developed with the productive forces. But Information Theory’s appearance is far behind the emergence of the information. It is raised in modern times and formed a complete theoretical system. The main basic theory of information includes: the definition and measurement of information; the all kinds of discrete and continuous source of information entropy; channel capacity of memorial, memory of discrete and continuous channels; lossless source coding theorem.
Key word: The average self-information Channel capacity Source Coding Huffman code

目录

一．绪论 3
二．信息的度量 4
三．平均互信息 6
四．连续信道 9
五．无失真信源编码 10
六．结束语 12
参考文献 13

香农信息论的基本理论探究
一．绪论
信息论的理论定义是由当代伟大的数学家美国贝尔实验室杰出的科学家香农在他1948年的著名论文《通信的数学理论》所定义的，它为信息论奠定了理论基础。后来其他科学家，如哈特莱、维纳、朗格等人又对信息理论作出了更加深入的探讨。使得信息论到现在形成了一套比较完整的理论体系。
信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。香农被称为是“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》（通信的数学理论）作为现代信息论研究的开端。这一文章部分基于哈里·奈奎斯特和拉尔夫·哈特利先前的成果。
信息不同于消息、信号、情报、知识等概念。信息论所包含的含义比其他几种理论概念更加广泛，更具有概括性。情报是军事学、文献学方面的术语。情报的定义是对某个特定的对象所见、所闻、所理解而产生的知识，情报的含义要比“信息”窄得多。消息是用文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，把