信息论概述

目录

前言

1.总述

2.香农信息论

3.总结

前言

在学习信息系统分析与设计第一章系统思想时，提到了系统思想的发展的起伏。在现代系统思想的兴起中提到了美国数学家香农提出来信息论，维纳的控制论与一般系统论一起形成三大论。为对信息论有一个整体的认识，遂写此文。

本文完全以初学者的角度选取我所理解的重点，供本人自学使用。

本文主要参考：

知乎回答(24 封私信 / 80 条消息) 香农的信息论究竟牛在哪里？ - 知乎 (zhihu.com)

信息系统分析与设计第五版

1.总述

在信息论创立之前。人们认为信息是无法度量的，而事实上信息量有其实质含义，例如在未获得某些信息之前，对事物的认识是不清楚的、不确定的。而获得这些信息之后，就消除了这种不确定性。从这个角度讲，信息是消除不确定性的度量。

香农信息论的伟大贡献就在于，可以用数学公式严格定义信息的量，反映了信息表达形式在统计方面的性质。

2.香农信息论

香农信息论文章下载地址：A mathematical theory of communication

香农提出了用信息熵衡量信息的大小。提出信息单位比特bit

我们设随机事件发生的不确定性为发生概率的函数，该函数有下面三条形式

（1）单调性：概率越大的事件信息熵越小

理解：概率越大的事件，人们对这个事件的认识越清楚，所以获得这个信息之后消除的不确定性较小，信息熵就越小

（2）非负性：非负

（3）可加性：多随机事件同时发生存在的总不确定性的度量，可以表示为各时间不确定性度量的和。

最后香农从数学上证明满足上述性质的信息熵函数，具有唯一的如下的形式。

 信息熵不仅衡量了信息的大小，同时为信息编码提供了理论上的最优值：信息熵是数据压缩的极限。

如果信息源的信息速率R小于或者等于信道容量C，那么，在理论上存在一种方法可使信息源的输出能够以任意小的差错概率通过信道传输。

而信道容量C可以通过香农公式根据信道的带宽和噪声特征简单的计算出来

其中P/N即信噪比。W代表信道的带宽。

3.总结

粗略了解完香农信息论不得不感慨这项研究真的太牛了，本来是学习系统的时候提到的，结果发现上学期计算机网络中提到的香农公式也是信息论中提出的。以后继续学习，不断完善。