关注 哆嗒数学网 每天获得更多数学趣文
01
香农其人
科学寻求自然的基本定律,数学则在旧基础上构造新的定理,而工程学建造系统来解决人类的需求。这三个学科相互依存,但又截然不同。同时为这三个领域做出核心贡献的人极为罕见,而克劳德·香农就是如此。
香农是纪录片《The Bit Player》的主题,其研究工作和研究哲学深深启发了笔者的事业。尽管如此,无论是生前还是在2001年去世之后,香农并不是一个像爱因斯坦一样家喻户晓的人物,他不像费曼那样出名,也从未获得过诺贝尔奖。然而,香农70多年前的一份开创性论文,奠定了整个现代通信设施的基础。没有他,就没有如今的信息时代。
纪录片《The Bit Player》
香农于1916年出生于密歇根州的盖洛德,是一位本地商人和一位教师的儿子。他在密歇根大学获得了电气工程和数学学位,之后,在麻省理工学院撰写了一篇硕士论文,将布尔代数应用于开关电路的分析和综合。这项变革性的工作,将电路设计从一门艺术变成了一门科学,如今这被认为是数字电路设计的起点。
克劳德·香农撰写的硕士论文,突破性地开创了数字电路设计这一领域,十年后,他撰写了有关信息论的开创性论文《通信的数学理论》
接下来,香农将目光投向了一个更大的目标:通信。
02
向通信进发
通信是人类最基本的需求之一。从烟雾信号到信鸽,再到电话、电视,人类一直在寻找更远、更快、更可靠的通信方法。但是,通信系统的工程问题总是逃不开各种发射源和传输介质。
香农却问了一个没人问过的问题:“是否有一个伟大的统一理论来描述通信?”1939年,香农在给导师范尼瓦尔·布什的信中,概述了他的一些关于“用于情报传递的通用系统的基本特性”的初步想法。经过十年的研究,香农终于在1948年发表了他的大师之作:《通信的数学理论》。
香农的理论的核心,是一个简单却非常通用的通信模型:发送器将信息编码为信号,该信号会被噪声破坏,然后由接收器解码。模型很简单,却有两个关键见解:
1.信息源和噪声源独立于要设计的通信系统;
2.对这两个源进行概率建模。他设想源生成许多可能的信息,每条信息都有一定的概率。概率噪声进一步增加了接收器所解码的随机性。
在香农之前,通信问题主要被视为决定论的信号重建问题:信号经介质传播后发生变形,如何处理接收信号,能够尽可能准确地复现原始信号?香农的天才在于他意识到:沟通的关键是不确定性。毕竟,如果我要讲述的内容您提前就知道,我还写它做什么呢?
香农的通信模型示意图,摘自他的论文
就是这一见解,将通信问题从实体转为抽象,从而使香农可以使用概率对不确定性进行建模。这极大地震惊了当时的通信工程师。
03
信息论到底在讲什么
建立起有关“不确定性和概率”的理论框架之后,香农开始着手他里程碑式的论文,并系统地确定了通信的基本极限。他的回答分为三个部分。在每个部分中,“bit(比特)”的概念都扮演着重要角色,香农将其用作不确定性的基本单位。“bit”是“binary digit(二进制数字)”的合成词,bit可以是1或0,香农的论文首先使用了该词(尽管他说数学家John Tukey在备忘录中首先使用了它)。
首先,香农提出了一个公式来计算每秒钟至少需要多少个bit来传输一条信息,并将这个数字称作熵率(entropy rate)H。熵率H表示发送者发送信息的不确定性,熵率越低,不确定性越小,因此越容易将消息压缩得更短。例如,以每分钟100个英文字母的速率发送短信意味着每分钟发送 26100 条可能的消息,每条消息都是100个字母组成的序列。用470个比特就可以编码所有可能,因为 2470≈ 26100。如果每种序列都具有相同的可能性,那么香农公式将表明熵率H确实是470 bits/分钟。实际上,某些序列比其他序列更有可能出现,熵率低得多,可以进行更大程度的压缩。
其次,香农提出了一个公式,来计算系统在噪声存在情况下的最大传输容量,他称之为系统容量(system’s capacity),C。这是接收器能够对传送的信息进行解码的最大速率,也代表了通信的速度极限。
最后,他证明了对于发出的信息受到噪声干扰的情况,只有当H < C时,通信才是可靠的。信息就像水一样,流量小于管道容量时,才可安全流过。
虽然这是一种通信理论,但同时也是一种有关信息如何产生和传递的理论——信息论。因此,现在香农被称作“信息论之父”。
他的定理得出了一些与直觉相反的结论。假设您在嘈杂的地方讲话。确保您的消息通过的最佳方法是什么?也许是一遍又一遍地重复?这可能是大多数人的本能,但事实证明这样做效率并不高。当然,重复的次数越多,沟通越可靠,但这是牺牲速度来换取可靠性。香农告诉我们,我们可以做得远远比这更好。重复消息是使用代码传输消息的一个例子,而使用不同的、更复杂的代码,可以在保持一定可靠性的同时,更快速地通信——一直到速度极限C。
香农站在一箱电子元件前 香农也有爱玩的一面,他经常将这一面带到他的工作中。这是香农和他为一只名为特修斯的电子老鼠建造的迷宫的合影
香农理论的另一个出乎意料的结论是,无论信息的性质是什么,无论是莎士比亚十四行诗,贝多芬第五交响曲的录音还是黑泽明的电影,在进行传输之前,将其编码为比特一定是最有效率的。因此,例如在无线电系统中,即使初始的声音和在空中传播的电磁信号都是模拟波形,基于香农定理,最好也要先将声波数字化为比特,然后再将这些比特映射为电磁波。这一令人惊讶的结果是现代数字信息时代的基石,在这个时代,比特已成为信息的“通用货币”。
04
跨界的天才
香农的通信理论是如此自然,他似乎是发现了,而不是发明了宇宙的信息传播定律。他的理论与大自然的物理定律一样基础。从这个意义上说,他是一位科学家。
香农发明了新的数学来描述通信定律。他首次引入的概念,例如概率模型的熵率,已经应用到广泛的数学分支的研究中,例如遍历理论(ergodic theory)(动力学系统的长期行为的研究)。从这个意义上说,香农是一个数学家。
但最重要的是,香农是一名工程师。他的理论是受到了实际工程问题的启发。尽管对当时的工程师来说,这些理论深奥难懂,但现已成为了所有现代(光学,水下,甚至星际)通信系统的基础标准框架。就个人而言,我很幸运地参与了一个全球范围的,将香农的理论应用和扩展到无线通信的事业,在多代标准中将通信速度提高了两个数量级。确实,当前推出的5G标准使用的不是一种而是两种实用的代码,它们都达到了香农的速度极限。
克劳德·香农在看一张土星照片
香农在70多年前就为所有这一切奠定了基础。他是怎么做到的?通过锲而不舍地专注于问题的基本特征,而忽略所有其他方面。他的交流模型的简单性就是这种风格的很好例证。他还知道要专注于可能的事情,而不是立即可行的事情。
香农制作的一辆黄色的遥控巴士。尽管香农在2001年去世了,但他的遗产仍然存在于构成我们现代世界的技术和他创造的设备(如这种遥控巴士)中
香农的作品说明了顶级科学的真正作用。当我开始读研究生时,我的导师告诉我,最好的工作往往是在修剪知识树,而不是发展知识树。那时候我无法理解这句话。我一直认为,研究人员应当追求的是添加自己的树枝。后来我有机会在自己的工作中运用了这种哲学,我才开始理解。
当香农开始研究传播时,工程师已经掌握了大量技术。正是他的工作将所有技术统一起来,将这些知识的枝条修剪成了一棵富有逻辑、一以贯之的、可爱的树,这棵树为几代科学家,数学家和工程师结出了累累硕果。
作者:David Tse
翻译:xux
审校:Dannis
关注 哆嗒数学网 每天获得更多数学趣文