​香农与信息论三大定律

香农是20世纪一位全才型科学家，他在通信技术、信息工程、计算机技术、密码学等方面都作出了巨大的贡献。

1948年，香农发表了他在二战前后对通信和密码学的研究成果，系统性地论述了信息的定义、如何量化信息、如何更好地对信息编码。在这些研究中，香农借用热力学中“熵”的概念来描述信息的不确定性，并把通信和密码学的所有问题都看成是数学问题。香农的理论不仅奠定了如今整个通信系统的基础架构，也发展了有关信息的理论体系和数学方法，让信息变得可测。在此之前，没人懂得如何度量信息。

香农使用了“信息论”一词来论述他的理论。后来信息论被发展成了一门学科，为密码学和通信行业奠定了理论基础。

在信息论中，香农提出了三个著名定律。

香农第一定律又称无失真信源编码定律，它给出了有效编码信息的方法。它告诉人们，如何让通信信号携带尽可能大的信息量，提高信息存储和传输效率。比如大众熟知的摩斯电码，它使用长音和短音的信号组合来表示不同的数字和字母。不过，摩斯电码是根据字母使用的频度来编码的，每个字母的编码长度并不相同：常用字母用短编码，不常见的字母使用长编码。例如元音字母e，只用一个短音表示，对于不常用的字母z，使用了两个长音、两个短音表示（见图3-2）。这样做可以有效降低整体的编码长度。

                             图3-2 摩斯电码表（点表示短音、划表示长音）

香农第二定律定量地描述了一个信道中的极限信息传输率和带宽的关系，它主要用来保证信息在通信和传输过程中不出错。它的数学公式如下：

其中，C是信道容量，B是信道带宽，S是信号功率，N是噪声功率。

根据香农第二定律公式，如果要增加信道容量，即增加信息最大传输速率，最好的方法是增加带宽（频率范围）或者增加信噪比（信号与噪声的比值）。举个例子，5G网络技术的传输速度要比4G快几十倍甚至上百倍，这是因为5G使用的是毫米波（对应波长只有1mm到10mm），它的通信带宽在30GHz至300GHz，比只有100MHz频段的4G要宽得多。根据香农第二定律，在信噪比一定的情况下，信道越宽，传输速度就越大，这也是5G相比4G传输速度大幅提高的原因。