香农的信息论究竟牛在哪里？

链接：https://www.zhihu.com/question/27068465

编辑：深度学习与计算机视觉

声明：仅做学术分享，侵删

作者：伊莉雅SAMA
https://www.zhihu.com/question/27068465/answer/2515016119

牛就牛在用严格的数学理论度量了信息，并且让很多看起来和信息毫不相干的问题用信息论的方法给出了上确界的刻画。这让许多民科想法直接无处遁形。

比如有人可能科幻小说看多了，就会提出这样的设想：如果圆周率π是正规数（即任意数字组合都能在该数小数点后某位后找到），那么我们就可以把信息记录为圆周率小数点后多少位，这样不就实现了压缩编码了吗？

如果你学过信息论，你一眼就能看出其中的破绽。从理论上，这不过是一种编码方式而已，最低也不会低于香农极限。从具体例子上，总是存在一些数，它在小数点后很靠后的位置，并且这种数很多，以至于在统计意义上会值得冗余更多。

又有人可能认为，如果把数据转化为二进制，然后将对应的长度刻到绳子上，通过增大小数点后的位数，就实现了用一个绳子存放无限多的数据。这一设想听起来很美好，毕竟实数的势是大于自然数的，所以一个实数可以蕴含无限长的信息。但从信息论的角度来考量，我们是不能忽略噪声的。只要噪声存在，我们就不可能无限制地增大精度，最终依然受限于香农极限。前面整的这么多花里胡哨的东西，无非是障眼法罢了，本质上还是编码与解码而已。因此，信息论可以让我们剥开迷惑直击本质，让自己不被民科言论所幻惑。

还有经典的称球问题，在13个球中有一个球质量与其他球不同，求设计出一种称量方案，使用一个不带砝码的天平在三次称量内找出该坏球。如果学过信息论，就知道上限为3^3/2=13.5，这种构造通常是依赖记忆信息的（记忆熵）。

香农给出的信道容量这一概念也是很有意义的，如今5G也逐渐成熟，像MIMO之类的技术也逐渐被应用。为啥要搞MIMO呢？因为点对点的香农极限已经摆在那里了，自从卷积码被提出后，现在的编码离香农极限也就几个dB了，搞不出什么花样。如果你看到某篇文献说自己的编码方案在同样高斯信道下比现有方法提高了5dB及以上，不用看，肯定是骗人的。

在我看来，如果香农的信息论仅仅是解决了通信圈的问题，那么它即使牛，也只是通信圈的开山鼻祖意义上的牛。最让我感到厉害的是它揭示了许多看起来与信息不相干（如称球问题）也能用信息论优雅地给出上确界与构造，这类似一种于哲学上的启发，改变了人们看待问题的角度（要说能与之类似的，我能想到的也就只有傅立叶变换了）。

作者：崔牧之 https://www.zhihu.com/question/27068465/answer/571678248

香农正伟大的工作是，他用数学描述了信息，让信息变得可测。

什么是让信息变得可测呢？我给你讲个故事：

非洲很多部落都敲鼓，你以为这些都是他们的音乐吗？其实完全不是，它们是有功能性的。撒哈拉以南的非洲人，用鼓点传递信息是非常常见的。虽然不是每个部落成员都会敲，但差不多大家都能听懂鼓声。

你觉得鼓声和消息是怎么转化的呢？有些人脑中天然就会想到摩尔斯码，比如用鼓的高音代表0，用低音代表1，然后0和1的组合拼出字母，字母再组成文字。

这是思路，都是用现代文明理解非常原始的部落。它是错的。

这个思路里鼓声和信息之间存在好几次转换，但在真实情况中，非洲上千种语言中的绝大部分压根就没有文字，就和纳瓦霍语是一样的。所以其实非洲的鼓声，就是当地语言的另一种发音方式。

但马上会出现问题了，比如说：两个高音鼓点敲出来，它代表的意思可就多了，有时候可能是月亮，有时候可能代表鸡，有时候可能代表鱼，有的时候也可以是男人的意思。

怎么用鼓点准确传达消息呢？方法也有，就是让鼓多说一些话。

比如，妻子叫丈夫快点回家吃饭，用鼓点打出来，完整翻译过来的意思就是：

森林里的男人精灵， 回来回来。回到属于森林里男人精灵的高高的木屋中， 女人和木薯等待着你， 回来回来。

你看，翻译过来跟诗一样。这样翻译出来废话就特别多，但这是必要的。

因为如果后面不跟着那么多修饰词和与之相关的动词名词，人们是很难判断鼓声要表达的意思是男人还是鱼儿。当“回到男人精灵高高的木屋中”表达出来后，那一定不可能是鱼儿的木屋了。

好，我们现在来看，如果我们把鼓点当做一种语言，这种语言的“音素”就只有两个——高音和低音。

这是一种貌似简练至极的表达，但为了传达消息的准确，就必须在说话时反复使用大量音素。而用英语喊男人回来，只需要几个音素就够用了，可英语中的音素又有上百个之多。

虽然我们现在还没法衡量具体的数字，但我们可以隐约感受到：

传播同一则信息，信息的量好像弹性空间很大，我们应该如何测一测这个信息的量呢？如果这个信息的量是可测，那么要传递一条信息，有没有量的下限呢？也就是说，我们至少要用去多少个单位量才能完整表达这条信息呢？我们甚至还可以进一步想，要传递一条信息最少需要多少卡路里的能量呢？

而这些问题的知识，就是香农做出来的。香农不但做出了这些，还用数学完整建立了通信原理。

作者：Elodin
https://www.zhihu.com/question/27068465/answer/35120651
香农在信息论说了些什么呢？

1. 无损Source Coding的极限是信息源的entropy。（Source Coding Theorem)

2. Noisy Channel传输速率的极限是输入和输出的最大mutual information。（Channel Coding Theorem)

比对一下牛顿三定律和麦克斯韦定律，是不是有一种开山之作的简洁之力？

此外，他还说：

信息交流应该由以下元素组成：

1. 一个信息源

2. 一个传输器，可以把信息encode为信号

3. 一个频道，信号可以从中通行

4. 一个接收器，可以把信号decode为信息

5. 一个接收者

看上去简直就是一堆废话，可是想象一下1948年的世界，是不是有一种“这就是通信系统界的冯诺伊曼架构啊”的感觉？

香农、巴丁（可能还有肖克利）之于电子工程，就是牛顿、麦克斯韦之于物理学，图灵、冯诺依曼之于计算机科学，都是真正通过一己之力开创了一门学科。他们的工作，使得一些零散的研究终于有了体系和系统的方法，而之所以在今人的眼里看起来普普通通，只是因为他们的工作是一切后来者都不能绕过的基石。

相关：Caltech EE本科，上过信息论

作者：feby
https://www.zhihu.com/question/27068465/answer/1203918619

无意中翻到这个题目。前面不少优秀科研工作者已经在尽力给不懂的人扫盲了，做的很棒！我就另辟蹊径（卖弄聪明，装逼）回答这个问题了。

从我现在的上帝视角（完全搞懂了）来看，我觉得香农的工作挺简单的。首先，他提出了强典型集和弱典型集的概念，接下来，无损信源编码定理其实就是说把待发送的信源和弱典型集里的元素做一个一一映射就完了。出错只可能是待发送的信源不属于弱典型集。但是一个独立同分布造出来的信源不属于弱典型集的概率趋于0。结束！so easy

离散无记忆信道容量更是香农耍赖皮的经典时刻，在证明所有可达的速率都小于等于 信道容量max I(X;Y)时，香农用链式规则展开后证明不下去了，接下来，他开始假设信道是离散无记忆的，然后利用离散无记忆信道的马尔可夫链特性强行整了出来。这就相当于咱们做一道数学题，实在做不出来了就加条件耍赖皮一样。

其实站在上帝视角看，香农的工作虽然是开创性的，但还是比较简单。我觉得真正把信息论发扬光大的是tomas cover（娶了选美皇后的人生赢家），cover是多用户信息论（现代信息论）的创始人。另外信源编码领域wyner ziv  slepian wolf等人也做出了卓越的工作。

最后，我想表达的是，香农信息论牛逼，不光在于香农本人，后续还有很多伟大的信息论学者共同使得信息论变得伟大。

☆ END ☆

如果看到这里，说明你喜欢这篇文章，请转发、点赞。微信搜索「uncle_pn」，欢迎添加小编微信「 woshicver」，每日朋友圈更新一篇高质量博文。

↓扫描二维码添加小编↓